准备
1.两台处于同一网段的机器,一台作为Master(192.168.31.178),一台作为Slave(192.168.31.92)。
2.Master按照上一篇文章完成Hadoop环境的搭建,并完成配置(完成到伪分布式)。
3.Slave使用上一篇文章,创建hadoop用户,安装ssh Server以及java环境。
网络配置
(现在Master上hadoop状态是关闭的)
1.Master:
sudo vim /etc/hostname #进入该文件,删掉原有内容,写入Master
修改Master节点的主机名称(即改为Master,注意区分大小写)。
sudo vim /etc/hosts #修改自己所用节点的IP映射
在上述指令打开的文件中,注释之前的前几行,保留127.0.0.1 localhost,然后删除其他的,写入下面的IP映射
192.168.31.178 Master
192.168.31.92 Slave1
2.Slave:
操作同Master,但是,主机名为Slave1。
完成以上操作后,重启两台机器,才会在终端中看到机器名的变化。
3.然后在两台机器上互相Ping,ping通的话会显示time
ping Master -c 3
ping Slave1 -c 3
SSH无密码登陆节点
这个操作是让Master节点可以无密码SSH登陆到各个Slave节点上。
首先生成Master节点的公钥,在Master节点上操作(因为更改过主机名,所以需要删除原有的,再重新生成一个):
cd ~/.ssh #如果没有该目录,先执行一次ssh localhost
rm ./id_rsa* #删除之前生成的公钥
ssh-keygen -t rsa #一直按回车
cat ./id_rsa.pub >> ./authorized_keys #让Master节点可以无密登陆SSH本机
完成后可执行ssh Master验证一下(可能需要输入yes,成功后执行exit返回原来的终端)。接着在Master节点将公钥传输到Slave1节点(或者更多的节点)
scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/
接着在Slave1节点上,将ssh公钥加入授权:
mkdir ~/.ssh #如果不存在该文件夹需先创建,如存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub
如果有其他Slave节点,执行相同的操作。
完成以上操作,便可以在Master节点无密登陆其他Slave:
ssh Slave1
配置PATH变量
在单机伪分布式配置教程的最后,说到可以将 Hadoop 安装目录加入 PATH 变量中,这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了,如果还没有配置的,需要在 Master 节点上进行配置。首先执行 vim ~/.bashrc
,加入一行:
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
保存后执行
source ~/.bashrc
使配置生效。
配置集群(分布式)环境
集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件,更多设置项可点击查看官方说明,这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
1.文件 slaves,将作为 DataNode 的主机名写入该文件,每行一个,默认为 localhost,所以在伪分布式配置时,节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost,也可以删掉,让 Master 节点仅作为 NameNode 使用。
2. 文件 core-site.xml 改为下面的配置:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
3. 文件 hdfs-site.xml,dfs.replication 一般设为 3,但我们只有一个 Slave 节点,所以 dfs.replication 的值还是设为 1:
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
4. 文件 mapred-site.xml (可能需要先重命名,默认文件名为 mapred-site.xml.template),然后配置修改如下:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>
5. 文件 yarn-site.xml:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置好后,将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行:
cd /usr/local
sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/* # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz Slave1:/home/hadoop
在Slave1执行:
sudo rm -r /usr/local/hadoop # 删掉旧的(如果存在)
sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
sudo chown -R hadoop /usr/local/hadoop
首次启动需要在Master节点上执行NameNode的格式化:
hdfs namenode -format
接着在Master节点上启动Hadoop:
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
通过在jps查看各个检点所启动的进程:
Master节点:
Slave1节点:
上面两个节点的进程缺少一个都是错误的。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report
查看 DataNode 是否正常启动,如果 Live datanodes 不为 0 ,则说明集群启动成功。
关闭 Hadoop 集群也是在 Master 节点上执行的:
stop-yarn.sh
stop-dfs.sh
mr-jobhistory-daemon.sh stop historyserver