NameNode 和 SecondaryNameNode 工作机制

Fsimage

HDFS 文件系统元数据的一个永久检查点,其中包含 HDFS 文件系统的所有目录和文件的 inode 信息。

Edits

存放 HDFS 文件系统的所有更新操作,文件系统客户端执行的所有操作首先会被记录到 Edits 中。

上图

在这里插入图片描述

  1. NameNode 启动,加载 Edits 和 Fsinage 到内存中。
  2. 客户端发送修改请求。
  3. NameNode 记录操作日志,更新滚动日志。
  4. Secondary NameNode 询问 NameNode 是否需要 ChenkPoint。
  5. Secondary NameNode 执行 CheckPoint 。
  6. 将滚动前的 Edits 和 Fsinage 拷贝到 Secondary NameNode,并合并生成新的镜像文件fsimage.chkpoint。
  7. 拷贝 fsimage.chkpoint 到 NameNode。
  8. NameNode 将 fsimage.chkpoint 重新命名成 Fsimage。

Secondary NameNode CheckPoint

在一下两种情况下会进行 checkpoint:

  1. 达到时间间隔(默认 1 小时),执行 checkpoint 。

  2. 默认每隔 1 分钟执行 1 次检查操作,如发现操作数达 1 百万,执行 checkpoint 。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值