在hadoop集群DataNode动态服役、下线节点

一、环境准备

（1）yarn 配置（补充配置）

（2）如果你在一台节点上修改了相关的配置，记得分发到全部集群上去，确保整个集群的配置环境是一致的。比如我 们上面修改了 mapred-site.xml 和 yarn-site.xml 文件所以记得同步到其他的节点上去。

 

（3）我们需要hdfs dfs，这个是运行HDFS的文件系统。 

二、实验分析

假设你现有的datanode有两台节点，现准备一台新的datanode。

在第一步的条件下，将新增的datanode配置到集群，并可以在HDFS UI页面可查。

在第二步的基础下，将新增的datanode杀死，并将其退出服役的截图。

三、实验实现与结果

（a）假设你现有的datanode有两台节点，现准备一台新的datanode。 

（1）先暂停集群服务：stop-all.sh

再准备新节点   检查slaves文件是否是2个节点

（2）删除hdpdata

（3）修改hdfs-site.xml

副本存放的时候，它需要考虑几个问题：

①它不可能把副本全部放到一台节点上去.

②最好不要把所有的副本放到一个机架上的不同dataNode节点上（数据的安全性不那么高）

③最好不要大批量的跨机架存放副本（较高的带宽消耗）

④最好不要跨数据中心存放副本（较高的带宽消耗）

（4）格式化，并启动 HDFS.

（5）UI查看HDFS存活节点

（b）在第一步的条件下，将新增的datanode配置到集群，并可以在HDFS UI页面可查。

服役（添加）新的节点

hadoop配置文件目录下的hdfs-site.xml中维护这集群“白名单”和“黑名单”两个文件，如果没有的话需要在配置文件中添加这两个属性。

（1）创建文件

（2）修改hdfs-site.xml

(3) 更新dfs.include

(4)更新slaves文件，并分发到其他节点

（5）更新hdfs  namenode上刷新节点

（6）在新节点上启动datanode进程

（7）UI查看

（c）在第二步的基础下，将新增的datanode杀死，并将其退出服役的截图。

退役（删除）datanode节点

（1）添加退役节点的ip到黑名单,不需要更新白名单.

（2）UI查看

这一过程结束后出现Decommissioned的状态，才算退役成功，一般生产中，Decommissioning状态时间较长。

（3）在退役节点上停止进程