从Hadoop集群中移除一块磁盘的操作

2019独角兽企业重金招聘Python工程师标准>>>

背景
由于历史原因，CDH的hadoop的每个DataNode节点下挂载了多个磁盘，后要对一些配置差的磁盘要用配置较好的新磁盘进行替换，这时候就需要撤出旧磁盘，并保证数据不丢失的情况下更换磁盘。

在更换磁盘的过程可能会遇到如下情况，有些磁盘的使用量特别大，已经块占满，而有些磁盘的使用量较少，但是hdfs在写入数据时默认还是向使用量比较的磁盘中写入数据，这样就会导致有些磁盘会提前爆满的现象；对于这样的问题，可以从如下两个角度解决问题，第一，在挂载磁盘的时候，给每个磁盘都设置预留空间；第二，通过修改hdfs使用磁盘的规则，使用hdfs优先使用磁盘空间较大的磁盘。
 
方案
移除的动作不能直接从集群中移除，因为数据还存放在这些磁盘中。我们知道，hadoop默认是3份副本，移除一块或者两块磁盘，数据是不会丢失的。为了保险起见，我们一块一块操作，移除一块之后，会有若干副本丢失。
 
步骤
1.   停止CDH集群
2. 先从一个节点开始，比如从slave-01上，先将dfs.data.dir, dfs.da