笔记:hadoop的双NN机制

双namenode保证高可用,

随之而来带来很多问题:

1、2台namenode之间的数据同步问题,edits的数据。

如果实时的同步,会造成client访问缓慢。如果批同步,会造成很多数据丢失。

采取将数据edits抽取出来的方式。

2、抽取出edits到第3方,也得考虑第3方的高可用,用edits集群的方式解决。底层依赖zookeeper。qjournal进程。

3、2台namenode,只能一台active,一台standby,否则就会造成数据的同步复杂度大量提高。

4、如何保证2台namenode之间的无缝切换?

每个namenode有1个单独的进程,监控自身namenode状态,挂掉了,就回去zookeeper里写挂掉的状态。

standby的namenode拿到状态,切换为active。

5、有可能出现挂掉的namenode并未真正挂掉的情况,2个active会出现脑裂。

避免这个情况,第2台备namenode启动时,会主动ssh kill第1个namenode,成功了再切换自己为active。

6、有可能出现kill不成功,超时的情况。这时候会执行用户自定义的shell脚本。(关闭第1个机器电源等操作)

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值