论secondary namenode的Checkpoint过程与双胞胎的关系

本文详细介绍了Hadoop HDFS中secondary namenode的Checkpoint过程,包括checkpoint的触发条件、详细步骤,以及通过双胞胎的比喻进行的趣味性解释。通过这个过程,secondary namenode帮助NameNode合并edits和fsimage,保持HDFS元数据的同步。
摘要由CSDN通过智能技术生成

关于Checkpoint正经解释

Checkpoint过程

每达到触发条件,会由secondary namenode 将 namenode 上积累的所有 edits 和一个最新的 fsimage 下载到本地,并加载到内存进行 merge(这个过程称为 checkpoint),如下图所示:
在这里插入图片描述

Checkpoint 详细步骤

  • NameNode 管理着元数据信息,其中有两类持久化元数据文件:edits 操作日志文件和fsimage元数据镜像文件。新的操作日志不会立即与 fsimage 进行合并,也不会刷到NameNode 的内存中,而是会先写到 edits 中(因为合并需要消耗大量的资源),操作成功之后更新至内存。
  • 有dfs.namenode.checkpoint.period 和dfs. namenode. checkpoint.txns两个配置,只要达到这两个条件任何一个,secondarynamenode 就会执行 checkpoint 的操作。
  • 当触发checkpoint操作时,NameNode会生成一个新的edits即上图中的edits.new文件,同时SecondaryNameNode 会将 edits 文件和 fsimage 复制到本地(HTTP GET 方式)。
  • secondarynamenode 将下载下来的 fsimage 载入到内存,然后一条一条地执行 edits 文件中的各项
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值