居然两个NameNode都是备用，见了鬼了

@解决NameNode切换过程中出现两个备用
先来看图：

版本：CDH:5.7.1
起因：1.一周前，ZK出现无缘无故的抖动，导致HBase一个计算节点挂掉了

紧接着，这周出现该节点Redis频繁告警：

查看服务器CPU,内存使用均正常。怀疑是磁盘IO。
果然磁盘IO 100%

想装个iotop看下具体哪个进程引起的，结果yum的时候直接没响应
那么先把该服务器上重要的CDH节点先迁移走：
NameNode迁移完成之后出现了2个备用，没有主节点。
问题肯定是由于该服务器磁盘IO高，导致迁移的时候响应比较慢。
有些操作显示完成了，实际没有完成，导致HA的锁机制失效
于是查看ZK中的HA节点：
当时没有截图，
get /hadoop-ha/nameservice1/ActiveBreadCrumb
显示的hostname还是我的故障机的名字。
直接删除：

然后用CDH节目触发HA：

问题解决！

之后停止了Yarn，HBase等，减轻了服务器压力。
做了一些其他的数据转移工作。最后更换了磁盘。