Hadoop--05---HDFS_03----NameNode 和2NN 、DataNode

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


NameNode 和SecondaryNameNode

1. NN 和2NN 工作机制

思考:NameNode 中的元数据是存储在哪里的?

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1)第一阶段:NameNode 启动

(1)第一次启动NameNode 格式化后,创建Fsimage 和Edits 文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)NameNode 记录操作日志,更新滚动日志。
(4)NameNode 在内存中对元数据进行增删改。

2)第二阶段:Secondary NameNode 工作

(1)Secondary NameNode 询问NameNode 是否需要CheckPoint。直接带回NameNode
是否检查结果。
(2)Secondary NameNode 请求执行CheckPoint。
(3)NameNode 滚动正在写的Edits 日志。
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
(5)Secondary NameNode 加载编辑日志和镜像文件到内存,并合并。
(6)生成新的镜像文件fsimage.chkpoint。
(7)拷贝fsimage.chkpoint 到NameNode。
(8)NameNode 将fsimage.chkpoint 重新命名成fsimage。

2. Fsimage 和Edits 解析

在这里插入图片描述

3. CheckPoint 时间设置

在这里插入图片描述
在这里插入图片描述

DataNode

在这里插入图片描述

1. DataNode 工作机制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 数据完整性

在这里插入图片描述

校验算法crc(32)

在这里插入图片描述
在这里插入图片描述

3. 掉线时限参数设置

在这里插入图片描述

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值