Fsimage与EditLog的合并步骤

  • Fsimage与EditLog的合并步骤

    由于EditLog不断增长,在NameNode重启时,会造成长时间NameNode处于安全模式,不可用状态,是非常不符合Hadoop的设计初衷。所以要周期性合并EditLog,但是这个工作由NameNode来完成,会占用大量资源,这样就出现了SecondaryNameNode,它可以进行checkpoint的工作。

安全模式:HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。

  •  步骤如下
  1. 辅助namenode请求主namenode停止使用正在进行中的edits文件,这样新的编辑操作记录到一个新文件中。主namenode还会更新所有存储目录中的seen txid文件。
  2. 辅助namenode从主namenode获取最近的fsimage和edits文件(采用Http Get)。
  3. 辅助namenode将fsimage文件载入内存,逐一执行edits文件中的事务,创建新的合并后的fsimage文件。
  4. 辅助namenode将新的fsimage文件发送回主namenode(采用Http Put),主namenode将其保存为临时的ckp文件。(有个疑问ckp文件有什么特点?哪位知道麻烦告知。谢谢。)
  5. 主namenode重新命名临时的fsimage文件,便于日后使用。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值