Secondary Namenode checkpoint工作机制

Namenode维护了edits和fsimage文件来记录元数据,但是Namenode本身不适合进行edits和fsimage的合并操作,Namenode本身操作checkpoint的时候,只有在safemode才可以,当HDFS正常工作时这个操作由secondary Namenode来完成,并将合并后的fsimage发到Namenode。
触发Checkpoint条件:

  1. 达到定时时间.
  2. Edits新数据达到指定threhold

相关配置

<property>
 <name>dfs.namenode.checkpoint.period</name>
 <value>3600</value>
</property>
<property>
 <name>dfs.namenode.checkpoint.txns</name>
 <value>1000000</value>
 <description>操作动作次数</description>
</property>
<property>
 <name>dfs.namenode.checkpoint.check.period</name>
 <value>60</value>
 <description>检查操作动作次数的时间间隔</description>
</property>

合并步骤:

  1. Secondary namenode请求是否需要Checkpoint
  2. Secondary namenode请求执行Checkpoint
  3. 滚动Edits文件
  4. 拷贝所有edits文件和fsimage到Secondary namenode
  5. 加载
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Secondary NameNode是Hadoop中用于协助NameNode进行数据备份和管理的辅助节点。其中,Secondary NameNode通过定时与NameNode通信,获取当前集群的状态信息。当NameNode上的编辑日志文件过大时,Secondary NameNode会执行checkpoint操作,将当前的文件系统状态信息以及相关的元数据信息写入到新的镜像文件(fsimage)中。然后,Secondary NameNode再将新的fsimage文件和编辑日志文件合并起来,生成一个新的编辑日志文件,并将该文件发送给NameNode。 具体的checkpoint机制如下: 1. Secondary NameNodeNameNode获取当前集群的状态信息,包括文件系统元数据信息以及编辑日志文件。 2. Secondary NameNode将当前编辑日志文件复制到本地,然后开始执行checkpoint操作。 3. 在执行checkpoint操作期间,Secondary NameNode将当前的文件系统状态信息以及相关的元数据信息写入到新的fsimage文件中。 4. 当fsimage文件生成成功后,Secondary NameNode会将新的fsimage文件和编辑日志文件合并起来,生成一个新的编辑日志文件。 5. 最后,Secondary NameNode将新的编辑日志文件发送给NameNodeNameNode将新的编辑日志文件应用到当前的文件系统状态中,从而完成checkpoint操作。 值得注意的是,Secondary NameNode并不能代替NameNode进行故障恢复,它只是用来协助NameNode进行数据备份和管理的辅助节点。因此,在实际使用中,需要保证Secondary NameNode的可靠性和稳定性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值