最近要下线几台Datanode,所以整理一下方法
一、修改hdfs-site.xml文件
1.在namenode节点hdfs.site中增加配置,在standby中也同时修改
<property>
<name>dfs.hosts.exclude</name>
<value>/data/app/hadoop-2.6.5/etc/hadoop/datanode.excludes</value>
</property>
二、修改yarn-site.xml文件
2.在resourcemanager节点中yarn-site.xml增加配置,在standby中也同时修改
<property>
<name>dfs.hosts.exclude</name>
<value>/data/app/hadoop-2.6.5/etc/hadoop/nodemanager.excludes</value>
</property>
三、修改创建退役(下线)节点文件
①.将要下线datanode节点的地址放到datanode.excludes文件中
echo "10.70.19.125" >> /data/app/hadoop-2.6.5/etc/hadoop/datanode.excludes
②将要下线nodemanager节点的地址放到nodemanager.excludes文件中
echo "10.70.19.125" >> /data/app/hadoop-2.6.5/etc/hadoop/nodemanager.excludes
Ps:文件的路径要与hdfs-site.xml与yarn-site.xml中设置的对应起来
三、执行退役命令
1.执行datanode下线命令
hdfs dfsadmin -refreshNodes
2.执行nodemanager下线命令
yarn rmadmin -refreshNodes
3.查看下线情况
hdfs dfsadmin -report
yarn node -list
Decomissioning标记的即为正在下线的datanode,hadoop集群会尽快的将要下线的datanode数据块复制到其他节点上
复制完成之后会变成Decommission Status : Decommissioned,此时可以下线此datanode
4.下线完成,kill进程,修改salve文件