Hadoop集群节点添加

目录

一、准备系统环境

二、修改hadoop配置文件

三、主从节点拷贝

四、单独启动新节点

五、验证新节点

六、集群负载均衡balance操作

---

一、准备系统环境

• 在新节点slave上安装与master相同的Java环境，JDK配套安装
• 修改集群所有节点（master和slave）的host文件（注意是所有节点），增加ip和主机名映射关系

e.g. 10.100.40.188 Lm3doc02

• 配置新节点slave免密登录，使master能免密访问slave节点
• 关防火墙

二、修改hadoop配置文件

• 修改集群所有节点（master和slave）的/opt/tpapp/hadoop-2.7.3/etc/hadoop/slaves文件，增加新节点主机名

e.g. Lm3doc02

三、主从节点拷贝

• 通过master主机完成节点拷贝，切换到jboss用户，使用scp命令将master机上的hadoop拷贝至新节点。p.s. 新节点的hadoop路径和master路径保持一致

scp -r /opt/tpapp/hadoop-2.7.3 jboss@Lm3doc02

四、单独启动新节点

• hadoop集群增加slave节点后，可以不用整个集群重启，仅启动新增加的节点，实现新节点动态接入

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start datanode #启动datanode
starting datanode...
[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/hadoop-daemon.sh start tasktracker #启动tasktracker
starting tasktracker...

五、验证新节点

• 访问http://master:50070/主页可以看到Live Nodes节点数，或者查看DataNodes页节点空间信息
• 或者通过命令查看节点健康状况

[jboss@Lm3doc02 hadoop-2.7.3]$ ./bin/hadoop dfsadmin -report 

六、集群负载均衡balance操作

• 由于新增加了节点，需要从master上对原集群数据块进行balance操作，使集群各节点数据处于相对平衡状态，避免集群性能低下（不进行balance大部分数据会往新节点写）

[jboss@Lm3doc02 hadoop-2.7.3]$ ./sbin/start-balancer.sh