NameNode、SecendNameNode和DataNode的工作机制

NameNode

保存元数据MetaData,fsimage(磁盘元数据副本),edits(日志)。当NameNode启动后,会将磁盘上的数据fsimage同步一份到内存中,同时DataNode启动会将block的信息也存入内存中,或者在文件上传时会将元数据写入内存中,此时,内存中的数据的实时性都高于fsimage。当文件开始上传后会在edits中记录日志,而不会记录于磁盘的fsimage。

SecendNameNode

协助NameNode将edits(日志)合并到磁盘的fsimage中,当edits到了合并的时候(两个时机,默认,一个是固定的时间,默认3600秒,一个是固定的容量,edits默认只有64m当存满了就会触发),触发后SecendNameNode就会将edits数据清空并将内容存入fsimage中。

默认的两个key

fs.checkpoint.period = 3600

fs.checkpoint.check = 64MB

DataNode

数据存储节点,一般有多个节点,存放当前文件的block的副本

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值