《高可用的HDFS》——元数据备份方案

元数据备份目录项主要涉及的场景:

1、NameNode启示时,从元数据备份目录中检查最新的fsimage和edits,读取到内存合并,然后将fsimage写回到指定的备份目录,并且重置edits

2、元数据更新时,NameNode将日志写入edits

3、做cheakpoint时,namenode将checkpoint好的fsimage写回,并重新配置edits


1、nn启动加载元数据。namenode有一个静态初始化模块,调用Configuration的静态函数addDefaultResource将hdfs-default.xml和hdfs-site.xml加入到Configuration的DefaultResource中。解析出备份目录,加载最新的fsimage和edits,


一个checkpoint过程:snn通知nn产生一个新的edit文件edits.new,之后日志更新将会写入到edits.new中。snn从nn下载fsimage和edits文件,合并,产生新的fsimage.ckpt,将其传给nn,最后nn将edits.new重命名为edits,将fsimage.ckpt重命名为fsimage。


2、元数据更新以及日志写入场景。以mkdir为例,由客户端发起,具体实现调用DFSClient.java中的mkdirs方法,mkdirs又通过RPC远程调用nn所实现的mkdirs接口。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值