从CDH集群中移除设备记录

因为公司其他业务需要，从利用率不算太高的老旧集群中分出一部分机器用于其他业务。
需要从旧CDH集群中删除指定的机器。

必须注意一点：hadoop默认副本数为3，所以一次最多移除两台机器，
hadoop集群需要时间来同步集群中block块的确实副本（hadoop集群检测到副本数量不足后，
会自动从现有block块同步到其他存活的datanode）

如果副本还未同步完毕就又删除新的机器，可能会造成比较严重的数据缺失问题，难以修复
一定要注意！！！

查看所有主机：

第一步：先确定哪台机器的服务或者角色较少，方便迁移服务和数据
（比如不可能移除clodera-scm-server主机，这相当于需要重新搭建一个新的CDH集群）
第二步：停掉需要删除的主机上的所有角色
第三步：逐个删除已经停掉的角色

第四步：删除完成后，将角色数量为0（删光了）的机器移出集群

第五步：到被移除的机器上停掉cloudera-scm-agent服务
命令(CentOS7)：

systemctl stop cloudera-scm-agent

此时cloudera-scm-server不会再检测到这台机器，可以在重新安装系统后用于其他业务

需要注意的是，可以先在其他不会移除的机器上创建替代角色，比如zookeeper，
然后再在会被移除的机器上进行角色删除，中间停掉服务的时间短一些，能尽量减少影响，
但有些角色具有唯一性，不能直接添加角色，比如yarn的history角色，可以在删除后立即添加。

有的时候会有些奇怪，添加完替代角色后立即重启角色会失败，等待一段时间后才能启动成功。

还有一点，在所有需要移出的机器已经被移除后，需要调整CDH集群配置
CDH有一键部署功能，但是会使整个集群的角色全部重启，影响非常大
首先需要明确的是：生产集群，哪怕业务很少也不能全部重启，但是可以一个一个的单独调整角色，
第一步：先重新部署客户端配置

第二步：逐个重启单个角色

为了不影响业务，重启的时候慢一点，确认无误后再进行下一个。