说明:
操作前,集群下已有两台机器,Master和Slave1
192.168.154.156 Master
192.168.154.158 Slave1
操作是增加一台Slave2
192.168.154.159 Slave2
文件配置:
(注:修改配置文件需要使用root用户,否则修改失败)
vim /etc/sysconfig/network
修改主机名为:HOSTNAME=Slave2
在Master下,vim /etc/hosts
修改结果为
192.168.154.156 Master
192.168.154.158 Slave1
192.168.154.159 Slave2
在Slave2下,vim/etc/hosts
修改结果为
192.168.154.156 Master
192.168.154.159 Slave2
SSH配置及Java环境配置:
默认已经安装好,且能够建立SSH连接,如果未安装,参见:
http://blog.csdn.net/wang_zhenwei/article/details/48026641
(实验中,使用的是虚拟机,CentOS系统已经装好SSH和配置好SSH连接,然后拷贝成几份使用,所以也不需要进行这一步操作)
在Master上的普通用户下ssh Slave2
目的是确认建立连接
修改slaves文件:
cd /usr/local/hadoop/etc/hadoop
打开路径,需要配置的文件都保存在这里
vim slaves
在原来Slave1的基础上,增加Slave2
Slave1
Slave2
复制Hadoop文件到Slave主机:
cd /usr/local
打开usr路径
sudo tar -zcf ./hadoop.tar.gz ./hadoop
压缩
scp ./hadoop.tar.gz Slave2:/home/hadoop
复制到Slave2主机上
接下来在Slave2主机上操作:
sudo tar -zxf /home/hadoop/hadoop.tar.gz -C /usr/local
复制到/usr/local路径下
chown -R hadoop:hadoop /usr/local/hadoop
要给"Slave2"服务器上的用户hadoop添加对"/usr/local/hadoop"读权限。
启动及验证:
(注:在root用户下关闭防火墙,非常重要,尤其是注意在Slave2上关闭)
service iptables stop
关闭防火墙
(注:一下步骤在普通用户下进行)
在Master主机上操作:
cd /usr/local/hadoop/
sbin/start-dfs.sh
sbin/start-yarn.sh
启动
bin/hdfs dfsadmin -report
检查是否成功,查看Hadoop集群的状态
http://master:50070/
通过Web页面看到查看DataNode和NameNode的状态
http://master:8088/cluster
通过Web界面查看任务进度
sbin/stop-dfs.sh
sbin/stop-yarn.sh
关闭