HA机制
hadoop2.x
-
hadoop-HA(high available)
所谓HA,即
高可用
(7*24小时不中断服务),消除单点故障
hadoop的HAf分为各个组件的HA机制-----HDFS的HA,Yarn的HA
-
HDFS的HA机制
- 通过双namenode消除单点故障
- 双namenode协调工作要点:
元数据管理
方式改变:
内存中各自保存一份元数据
共享的edits放在一个文件系统集群中管理(qjournal和nfs两个主流实现)
两个namenode都可以读取edits
,但只有active状态的namenode节点可以做写操作
HDFS的HA中没有secondarynamenode
,元数据合并交给standby namenode
进行checkpoint需要
状态管理
模块:
实现一个zkfailover,常驻在每一个namenodde所在节点
每一个zkfc负责监控自己所在namenode
节点,利用zk进行状态标识,当需要状态切换时,由zkfc负责切换
当stan