hadoop HA

HDFS HA
– 为了保证 standby 节点与 active 节点之间数据的同步，两个节点会与另一组
服务集群 “journalNodes” (JNs) 进行通信
• 当 active 节点对命名空间做任何改动时，操作日志会被记录到超过半数的 JournalNode 上
• standby 节点会去 JournalNode 上读取这些日志
– 集群当中 只能有一个 activeNameNode ，这对集群的正常运行时至关重要

的

• 利用 2N+1 台 JournalNode 存储
EditLog
• 最多容忍 N 台服务器挂掉
• 基于 Paxos 算法

– 如果要实现主备切换的自动化，还需要额外添加两个服务
–额外一个ZooKeeper 集群
• 实现 NameNode 故障检测
• active NameNode 的选举
–每个NameNode上运行ZKFailoverController (ZKFC) 服务
• NameNode 健康状态的检查
• ZooKeeper 会话的管理
• ZooKeeper-based 选举