Hadoop HA 原理

1、Zookeeper为基础的集群上,NameNode 部署在2个节点上两个NameNode 在ZK中谁先注册,谁就是Active,剩余的就是Standly状态;而同一时间只有一个NameNode 对外提供服务 ->Active NameNode

2、Zookeeper中有两个FailoverController,一个负责ANN的状态,一个监控SNN的状态,FailoverController通过心跳负责将监控信息保存在znode中。

3、Standly NN负责同步Active NN中的元数据信息,也接收Activie NN的块报告,所有的DN上的Block 块的信息会同时发送给active NN 和 Standly NN,这样他们的信息能够同步。(JN进程进行主从复制)

4、Edits日志只有Active状态的NameNode 节点可以进行写操作,但是两个NameNode 都可以读取Edits;

5、当Active NN节点发生故障,zookeeper 通过FailoverController 感知到,ZK会自动销毁Active znode(排它锁)。Standly NN的监控器检测到Active NN的znode被移除,通知NameNode 节点开始工作,并发送 kill -9 nameNode 进程号,杀掉进程,Standly NN切换到Active状态。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值