首先区分一下通过直接下线服务和通过黑名单来移除节点的区别,这两个动作都会涉及到block副本数不够而复制移动恢复的问题,但是通过黑名单的话可以同时移除多个节点,这个是两种情况的主要区别;
步骤:
1.移除nodemanager
在yarn-site.xml中加入以下配置
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/data1/app/hadoop-2.7.1/etc/hadoop/excludes</value>
</property>
同时在文件excludes中加入要移除的节点的hostname
执行yarn rmadmin -refreshNodes 即可,最后可看到yarn资源管理界面出现以下移除节点数,并且nodemanager 服务自动下线;
2.移除datanode
同样要在hdfs-site.xml配置中加入
<property>
<name>dfs.hosts.exclude</name>
<value>/data1/app/hadoop-2.7.1/etc/hadoop/excludes</value>
</property>
执行hdfs dfsadmin -refreshNodes即可,这个时候 会出现一个漫长的block复制的问题,直到复制完datanode下线;
过程中出现的问题是,复制最后剩下700多个block的时候,出现一直复制不了的问题,比如如下
当时是700多个block一直移动不了,等一个小时还是没有什么变化,这个时候就得用上hdfs的的健康监测命令fsck了,通过执行:
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' 可以看到以下很多的作业的jar包等文件要被复制;
hdfs dfs --setrep命令来更改文件的副本数即可;
如下:
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> ~/under_replicated_files
for file in `cat ~/under_replicated_files`; do hdfs dfs -setrep 2 $file; done
完成后,可以看到Number of Under-Replicated Blocks 开始复制并且变为0,后面datanode进程最后也自动没了,表示下线成功;