Hadoop中HA模式和非HA模式的区别

#Hadoop中 HA模式和非HA模式的区别

HA基础概念：

所谓HA（high available），即高可用（7*24小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在机器宕机或软硬件升级两个方面影响HDFS集群，HDFS HA功能通过配置Active/Standby两个nameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

HDFS-HA的工作机制：
1）元数据管理方式需要改变：内存中各自保存一份元数据；Edits日志只有Active状态的namenode节点可以做写操作；两个namenode都可以读取edits日志；共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）；
2）需要一个状态管理功能模块
使用ZK进行状态管理
3）必须保证两个NameNode之间能够ssh无密码登录。
4）隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

HDFS-HA故障转移流程
自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。
2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排它锁以表明它应该成为现役NameNode。

![在这里插入图片描述](https://img-blog.csdnimg.cn/69363834dcb04891bc288d75b713133a.jpeg#pic_center)