HDFS HA架构设计

概述

  我们知道，hdfs是一个分布式存储结构，里面有namenode和datanode节点。在生产中，如果namenode只有一个，会有单点故障的问题，当namenode挂掉，整个hdfs就无法向外服务。为解决这个问题，一般采用HA(high availability) 高可用架构，即部署两台namenode，那么当一台namenode挂掉后，另一台可立即成为active状态向外提供服务。

架构

1、在HA中，如图会部署两台NameNode节点，一台为active状态，一台为 standby状态。在正常情况下，由active节点向外提供服务。当active节点挂掉有，standby节点就会切换成active状态并向外提供服务。
2、NameNode active节点和standby节点是通过JounalNode集群实时同步数据的。JounalNode是一个日志集群，相当于NameNode active里的所有操作日志editlog都会同步到JounalNode里面去，然后standby节点实时从JounnalNode里面取这些操作日志并写入到自己的节点中，使自己的元数据和active节点保持一致。这样，当active节点挂掉时，standby节点可以立即切换为active节点。
JounalNode一般部署2n+1个。(生产一般3-5台)
3、DataNode节点在HA架构中，会向NameNode active和standby节点同时发送心跳包和块报告。
4、对于两个NameNode节点，是通过zkfc(zookeeperFailoverController)来控制谁来做active。zkfc是单独的进程，它负责监控NameNode的状态。NameNode会定期向zookeeper发送心跳，使得自己可以被选举，当其中一个被zk选举为主的时候，zkfc进程通过RPC调用使得被选举的NameNode状态变为active，对外提供服务。