hadoop集群节点下线/上线

在生产环境中，会碰到hadoop集群DataNode/NodeManager的节点下线/上线。如果强制下线节点会影响到线上作业，而且还会影响到hdfs上数据丢失的风险。面对线上节点的上线/下线，hadoop提供了平滑下线/上线的机制。
本集群为一个主节点master，两个从节点slave1,slave2.
1.下线DataNode
1.1 在namenode节点的hdfs-site.xml中增加配置。PATH路径根据自己的实际情况进行配置。

<property>
                <name>dfs.hosts.exclude</name>  		      
                <value>/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts</value>
</property>

1.2 在相关文件中添加需要下线的主机

[root@master ~]# cat /usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts
slave1
slave2

1.3 在NameNode运行一下命令，将经过审核的DataNode更新至NameNode