NameNode与SecondaryNameNode(上)

NameNode工作机制

NameNode数据存储:

NameNode数据存储分为三部分:内存、FsImage、Edits。

内存:为了提供高效、快速的服务,NameNode将所有的元数据处理在内存中进行。

FsImage:考虑到数据安全,以及保证数据持久化,提出了FsImage元数据文件存储,将元数据保存在文件中。

Edits:但是如果NameNode一边复制数据处理,一边负责将元数据保存在FsImage文件中,效率会特别低。从而有了Edits,Edits只负责将操作步骤追加起来(不包括查询操作)

SecondaryNameNode:

SecondaryNameNode是为了辅助NameNode,合并FsImage和Edits。

  1. SecondaryNameNode开始工作有两个条件:默认每小时检测、edits操作达到100w条
  2. SecondaryNameNode发起checkPoint操作,请求NameNode
  3. NameNode接到请求,回滚edits操作,生成新的edits_inprogress,并将老的edits、FsImage拷贝到SecondaryNameNode中
  4. SecondaryNameNode加载到内存并合并edits、FsImage,生成
    FsImage.checkpoint
  5. SecondaryNameNode将FsImage.checkpoint传到NameNode
  6. NameNode将FsImage.checkpoint重命名替换为FsImage

如下图所示:
nn和nn2工作机制

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值