HDFS NameNode——Fsimage和edits加载合并至内存问题

我在看完namenode和2NN机制后有这样一个疑问:为什么NameNode要依靠2NN进行编辑日志和镜像文件的合并,自身为什么不周期性的合并加载至内存

按我个人的理解就是客户端在请求操作元数据更改时,内存会暂时将该操作保存,先进行edits日志更新,持久化至硬盘,然后内存再进行数据的运算更新。如果此时内存不会保存该操作,而是通过Fsimage和刚更新的edits对内存进行操作,就相当于此时多了一步硬盘重新加载至内存的操作。如果是依靠自身的周期性合并日志,那么就意味着此时内存并没有被修改(否则同一步操作会被执行多次)。而且因为展示给客户端的数据是实时更新的,不能说要等namenode自身周期性更新内存数据,客户端才能观察到之前的操作结果。

所以namenode的机制是在开机时才会从Fsimage和edits中重新加载至内存,因为内存数据会在机器宕机后消失,所以需要重新加载。如果没有定期合并Fsimage和edis,会导致重新加载内存数据的过程十分缓慢。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值