Hadoop学习4_CentOS6.5系统下Hadoop2.6.0集群增加机器详细操作

说明：

操作前，集群下已有两台机器，Master和Slave1

192.168.154.156 Master

192.168.154.158 Slave1

 

操作是增加一台Slave2

192.168.154.159 Slave2

 

 

文件配置：

（注：修改配置文件需要使用root用户，否则修改失败）

vim /etc/sysconfig/network
修改主机名为：HOSTNAME=Slave2

在Master下，vim /etc/hosts

修改结果为

192.168.154.156 Master

192.168.154.158 Slave1

192.168.154.159 Slave2

 

在Slave2下，vim/etc/hosts

修改结果为

192.168.154.156 Master

192.168.154.159 Slave2

 

 

SSH配置及Java环境配置：

默认已经安装好，且能够建立SSH连接，如果未安装，参见：

http://blog.csdn.net/wang_zhenwei/article/details/48026641

（实验中，使用的是虚拟机，CentOS系统已经装好SSH和配置好SSH连接，然后拷贝成几份使用，所以也不需要进行这一步操作）

 

在Master上的普通用户下ssh Slave2

目的是确认建立连接

 

 

修改slaves文件：

cd /usr/local/hadoop/etc/hadoop

打开路径，需要配置的文件都保存在这里

 

vim slaves

在原来Slave1的基础上，增加Slave2

Slave1

Slave2

 

复制Hadoop文件到Slave主机：

cd /usr/local

 

打开usr路径

sudo tar -zcf ./hadoop.tar.gz ./hadoop

压缩

scp ./hadoop.tar.gz Slave2:/home/hadoop

复制到Slave2主机上

 

接下来在Slave2主机上操作：

sudo tar -zxf /home/hadoop/hadoop.tar.gz -C /usr/local

复制到/usr/local路径下

chown -R hadoop:hadoop /usr/local/hadoop

要给"Slave2"服务器上的用户hadoop添加对"/usr/local/hadoop"读权限。

 

 

启动及验证：

（注：在root用户下关闭防火墙，非常重要，尤其是注意在Slave2上关闭）

service iptables stop

关闭防火墙

 

（注：一下步骤在普通用户下进行）

在Master主机上操作：

cd /usr/local/hadoop/

 

sbin/start-dfs.sh

sbin/start-yarn.sh

启动

 

bin/hdfs dfsadmin -report

检查是否成功，查看Hadoop集群的状态

 

http://master:50070/

通过Web页面看到查看DataNode和NameNode的状态

 

http://master:8088/cluster

通过Web界面查看任务进度

 

sbin/stop-dfs.sh

sbin/stop-yarn.sh

关闭