cdh大数据集群缩容，hdfs坏块处理,kudu坏表修复

参考官方文档：https://docs.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Managing-Clusters/Managing-Clusters-with-Cloudera-Manager.html

环境：CM和CDH版本5.13

根据官方文档提示：停止的服务器数量不能少于设置的副本数。本次100台机器减少一半不用担心这个问题

1、节点下线操作

admin用户登陆CM页面
1）修改相关配置
java堆栈大小调整为4G

2) 设置复制工作乘数器

3） 插入hdfs-site.xml配置

<property>
  <name>dfs.namenode.replication.max-streams</name>
  <value>100</value>
</property

4） 保存配置，重启hdfs使配置生效
5） 到hosts页面，选择需要迁移的主机，选定操作Recommission（一次选择一台或两台主机）

之后所选择的主机进入解除授权，开始迁移数据
hdfs dfsadmin -report查看对应主机状态为Decommisioning,等待其迁移完成，数据量大的将会花费非常长的时间

2. 节点下线问题解决

迁移数据移除节点的方式需要的时间很长，这里我们选择对节点进行停服移除，数据默认为3副本，但是有些数据副本数不够，停服务会导致块文件丢失，kudu表损坏

• hdfs块文件丢失
  查看