hadoop已有集群中添加新的节点和删除节点

集群添加节点

1.添加之前要将需要进行添加的新节点进行如下配置：

1. 修改主机名

vi /etc/sysconfig/network

3. 永久关闭防火墙

/etc/init.d/iptables stop
chkconfig iptables off

5. 关闭selinux

vi /etc.selinux/config
修改 SELINUX=disabled

6. 修改所有节点的 /etc/hosts 文件。添加新的节点的IP和主机名
7. 安装jdk；

2.将主机添加到集群

a) 在hadoop配置文件路径下创建dfs.hosts（白名单：可以和NN通信的所有节点）文件
b) 在白名单中添加可以通信的所有DataNode

d) 在hdfs-site.xml中添加一下配置

 <property> 
 <name>dfs.hosts</name>              
 <value>/export/servers/hadoop-2.6.0cdh5.14.0/etc/hadoop/dfs.hosts</value>
 </property>

e) 刷新NameNode和ResourceManager

hdfs dfsadmin –refreshNodes
yarn rmadmin –refreshNodes

f) 启动新节点的DataNode 和NodeManager

sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager

g) 验证

---

集群删除节点

第一步：创建dfs.hosts.exclude配置文件
在hadoop的配置文件目录下创建dfs.hosts.exclude文件，也就是黑名单
第二步：在hdfs-site.xml中添加以下配置

<property>
<name>dfs.hosts.exclude</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
</property>

第三步：刷新集群Namenode和ResourceManager

i.	hdfs dfsadmin -refreshNodes
ii.	yarn rmadmin –refreshNodes

第四步：在白名单（dfs.hosts文件中）中删除掉退役的节点

第五步：在slaves文件中删除掉退役的节点

第六步：负载均衡