fsimage和editlog的合并过程

Fsimage是hdfs文件的检查点,也可以理解为整个hdfs在某一时刻的快照,就是这个时刻的hdfs上所有的文件块和目录,分别的状态,位于哪些个datanode,各自的权限,各自的副本个数等序列化信息。在namenode启动后,会将对hdfs节点的操作(写操作更新,删除等)记录在editlog,secondarynamenode负责周期性的将fsimage合editlog合并(可以设置周期或者定时任务合并),具体合并的步骤如下:

  1. 将对hdfs的操作写入一个新创建的editlog.new文件,
  2. 将旧的editlog和fsimage文件通过http的get方式发送给secondarynamenode;
  3. Secondarynamenode周期性(五分钟)的将fsimage文件写入内存,根据editlog中的操作,一步步执行,生成新的fsimage文件;
  4. 通过http的post方式将新的fsimage文件发送给namenode,替换旧的fsimage文件
  5. 最后将editlog.new文件重命名为editlog文件。
    合并过程
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值