Hadoop 安装及伪分布模式配置

安装

  • 下载 jdk x64版本
  • tar -xzvf jdk-8u191-linux-x64.tar.gz /usr/soft解压文件到/usr/soft目录下
  • 配置环境变量
    1. 打开environment : sudo vi /etc/environment
    2. 配置:JAVA_HOME="/usr/soft/{jdk_unzip_name}"
    3. 配置:PATH="XXX:/usr/soft/{jdk_unzip_name}/bin"
  • 验证jdk是否安装成功
    java -version

    java version “1.8.0_191”
    Java™ SE Runtime Environment (build 1.8.0_191-b12)
    Java HotSpot™ 64-Bit Server VM (build 25.191-b12, mixed mode)

  • 下载Hadoop
  • tar -xzvf hadoop-2.9.2.tar.gz /usr/soft解压文件到/usr/soft目录下
  • 配置环境变量, 编辑 /etc/environment

JAVA_HOME="/usr/soft/jdk1.8.0_191"
HADOOP_INSTALL="/usr/soft/hadoop-2.9.2"
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/soft/jdk1.8.0_191/bin:/usr/soft/hadoop-2.9.2/bin:/usr/soft/hadoop-2.9.2/sbin"

  • 重新载入environment : source /etc/environment

    这里需要注意,需要重启机器才能使环境变量的配置完全生效,机器重启可用以下命令:
    systemctl reboot -i

安装完成之后,输入 hadoop version,验证安装的正确性

Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /usr/soft/hadoop-2.9.2/share/hadoop/common/hadoop-common-2.9.2.jar

Hadoop 伪分布模式配置

Hadoop共有三种配置模式,standlone, 伪分布,以及全分布。这里我们介绍一下,伪分布的配置。值得一提的是,Hadoop安装成功之后默认配置standlone模式,不同模式之间可以功能存在。

  1. cd $HADOOP_INSTALL/etc/
  2. sudo cp -R /hadoop /hadoop_pseduo
  3. cd /hadoop_pseduo
  4. 分别配置core-size.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml 如下:
<?xml version="1.0"?> 
<!--core-site.xml--> 
<configuration>		
<property>				
<name>fs.defaultFS</name>				
<value>hdfs://localhost/</value>		
</property> 
</configuration>
<?xml version="1.0"?> 
<!--hdfs-site.xml--> 
<configuration>		
<property>				
<name>dfs.replication</name>				
<value>1</value>		
</property> 
</configuration> 
<?xml version="1.0"?> 
<!--mapred-site.xml	-->
<configuration>		
<property>				
<name>mapreduce.framework.name</name>				
<value>yarn</value>		
</property> 
</configuration> 
<?xml version="1.0"?>
<!--yarn-site.xml-->
<configuration>		
<property>				
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>		
</property>		
<property>				
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>		
</property> 
</configuration> 

这里还有重要的一步就是配置ssh, 实现不同节点间的免密链接

  • sudo apt-get install ssh
  • ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  • ssh localhost

在第一次使用HDFS文件系统,我们需要对其进行格式化:

hdfs namenode -format
namenode 保存了hadoop的所有文件目录

启动Hadoop

start-dfs.sh --config path-to-config-directory
start-yarn.sh --config path-to-config-directory

查看hdfs文件系统

hadoop fs -ls /
OK 大功告成 ~~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值