Hadoop集群启动后添加和删除节点

标题集群添加节点

1. 添加新的虚拟主机
   a) 修改主机名 vi /etc/sysconfig/network
   b) 永久关闭防火墙 /etc/init.d/iptables stop chkconfig iptables off
   c) 关闭selinux vi /etc/selinux/config SELINUX=disabled
   d) 主节点到新节点的ssh无密码登录 ssh-copy-id node04
   e) 修改所有节点的 /etc/hosts文件。添加新节点的ip和主机名
   f) Jdk安装
   g) 重启新节点 reboot
2. 将主机添加到集群
   a) 在hadoop配置文件路径中创建dfs.hosts（白名单：可以和NN通信的所有节点）文件
   b) 在白名单中添加可以通信的所有DataNode
   
   c) 在hdfs-site.xml中添加一下配置

<property>
<name>dfs.hosts</name>              
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>

d) 刷新NameNode和ResourceManager

hdfs dfsadmin –refreshNodes
yarn rmadmin –refreshNodes

e) 启动新节点的DataNode 和NodeManager

sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

f) 验证

g) 负载均衡 start-balancer.sh

集群删除节点

1. 创建dfs.hosts.exclude配置文件，并添加需要退役的主机名称

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude

2. 编辑namenode所在机器的hdfs-site.xml

<property>
<name>dfs.hosts.exclude</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
</property>

3. 刷新namenode，刷新resourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

退役以后

4. 节点退役完成，停止该节点进程

cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

5. 在白名单中删掉退役的节点
   vim dfs.hosts 删除node04
6. 在slaves文件中删除掉node04
7. 负载均衡 start-balancer.sh