大数据面试题百日更新_Hadoop专题(Day04)

5. Secondary NameNode 了解吗,它的工作机制是怎样的

Secondary NameNode 是合并 NameNode 的 edit logs 到 fsimage 文件中; 它的具体工作机制:
(1)Secondary NameNode 询问 NameNode 是否需要 checkpoint。直接带回 NameNode 是否检查结果
(2)Secondary NameNode 请求执行 checkpoint
(3)NameNode 滚动正在写的 edits 日志
(4)将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode
(5)Secondary NameNode 加载编辑日志和镜像文件到内存,并合并
(6)生成新的镜像文件 fsimage.chkpoint
(7)拷贝 fsimage.chkpoint 到 NameNode
(8)NameNode 将 fsimage.chkpoint 重新命名成 fsimage 所以如果 NameNode 中的元数据丢失,是可以从 Secondary NameNode 恢复一部 分元数据信息的,但不是全部,因为 NameNode 正在写的 edits 日志还没有拷贝 到 Secondary NameNode,这部分恢复不了

另一容易理解的版本:
在这里插入图片描述

1、 secnonaryNN通知NameNode切换editlog,生成edits.new
2、secondaryNN从NameNode中获得FSImage和editlog(通过http方式),将FSImage载入内存,然后开始合并editlog,合并之后成为新的fsimage
3、secondaryNN将新的fsimage.ckpt发回给NameNode
4、NameNode用新的fsimage.ckpt替换旧的fsimage
5、NameNode用新的edits.new替换旧的edits

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIMaynor

觉得有用,要个免费的三连可有?

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值