HA的脑裂

脑裂

定义

脑裂是Hadoop2.X版本后出现的全新问题，在Hadoop中，为了防止单点失效问题而出现了两个namenode（HA机制），这两个namenode正常情况下是起到一个失效，另一个代替的作用，但在实际运行过程中很有可能出现两个namenode同时服务于整个集群的情况，这种情况称之为脑裂

原因

• 脑裂通常发生在主从namenode切换时，由于ActiveNameNode的网络延迟、设备故障等问题，另一个NameNode会认为活跃的NameNode成为失效状态，此时StandbyNameNode会转换成活跃状态，此时集群中将会出现两个活跃的namenode。因此，可能出现的因素有网络延迟、心跳故障、设备故障等
• 在高可用系统中，当联系的两个节点断开时，本来一个整体的节点分类成两个独立的节点，此时，两个节点开始争抢公共资源。可能导致系统混乱、数据损坏。

解决方法

1. 新增一条心跳线，防止namennode状态无法正常传达。原来只有一条心跳线路，此时若断开，则接收不到心跳报告，判断对方已经死亡。若有2条心跳线路，一条断开，另一条仍然能够接收心跳报告，能保证集群服务正常运行。心跳线路之间也可以 HA（高可用），这两条心跳线路之间也可以互相检测，若一条断开，则另一条马上起作用。正常情况下，则不起作用，节约资源
2. 使用隔离机制，通过调用活跃节点中的隔离方法，让其主动转换为standby状态，如果该方法失效则使用远程调用执行kill -9 命令杀死相应进程，如果该方法仍然无法成功隔离，管理人员可以事先在每台namenode节点中编写一个shell脚本，当出现脑裂问题时，执行该脚本来切断电源，达到隔离目的

参考

https://www.jianshu.com/p/23c85f88571b

https://blog.csdn.net/a602519773/article/details/81143152

Hadoop 脑裂问题 - 水木青楓 - 博客园 (cnblogs.com)