Hadoop NameNode HA实现解析

1、NameNode HA高可用架构图：

如上图所示，Hadoop NameNode高可用架构包括以下部分：
- Active NameNode 和 StandBy NameNode:两台NameNode形成主备，只有Active NameNode提供读写服务；
- ZKFailoverController：主备切换控制器，作为独立的进程运行。及时检测NameNode的健康状况，在主NameNode故障时借助Zookeeper实现自动的主备选举和切换；
- ZK集群：为主备切换控制器提供主备选举支持；
- 共享存储系统：保存了NameNode在运行过程中所产生的HDFS的元数据；
- DataNode节点：同时向主NameNode和备NameNode上报数据块的位置信息；

2、NameNode的主备切换实现

NameNode主备切换主要由ZKFailoverController、HealthMonitor和ActiveStandbyElector三个组件协同实现。
- ZKFailoverController作为NameNode机器上一个独立的进程启动，启动时会创建HealthMonitor和ActiveStandByElector，创建的同时会注册相应的回调方法。
- HealthMonitor主要负责检测NameNode的健康状态，如果检测到NameNode的状态发生变化，会回调ZKFailoverController的相应方法进行自动的主备选举。
- ActiveStandbyElector 主要负责完成自动的主备选举，内部封装了zookeeper的处理逻辑，一旦zookeeper主备选举完成，会回调ZKFailoverController的相应方法进行NameNode的主备状态切换。

主备切换流程如下图所示：

3、ZKFailoverController、HealthMonitor、ActiveStandbyElector实现细节

• HealthMonitor实现分析
  HealthMonitor在内部会启动一个线程来循环调用NameNode的HAServiceProtocolRPC接口的方法来检测NameNode的状态，并将结果通过会调的方式反馈给ZKFC。
  
  • HealthMonitor主要检测NameNode的两类状态：HealthMonitor.state和HAServiceStatus，前者是通过HAServiceProtocolRPC接口的monitorHealth方法来获取，主要是磁盘存储资源是否充足；