1. NameNode&Secondary NameNode 工作机制
1. 第一阶段:namenode 启动
(1) 第一次启动 namenode 格式化后,创建 fsimage 和 edits 文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存;
(2) 客户端对元数据进行增删改的请求;
(3) namenode 记录操作日志,更新滚动日志;
(4) namenode 在内存中对数据进行增删改查。
2. 第二阶段:Secondary NameNode 工作
(1) Secondary NameNode 询问 namenode 是否需要 checkpoint。直接带回 namenode 是否检查结果;
(2) Secondary NameNode 请求执行 checkpoint;
(3) namenode 滚动正在写的 edits 日志;
(4) 将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode;
(5) Secondary NameNode 加载编辑日志和镜像文件到内存,并合并;
(6) 生成新的镜像文件 fsimage.chkpoint;
(7) 拷贝 fsimage.chkpoint 到 namenode;
(8) namenode 将 fsimage.chkpoint 重新命名成 fsimage。
3. web 端访问 SecondaryNameNode
(1) 启动集群
(2) 浏览器中输入:http://hadoop102:50090/status.html
(3) 查看 SecondaryNameNode 信息
4. chkpoint 检查时间参数设置
(1) 通常情况下,SecondaryNameNode 每隔一小时执行一次。[hdfs-default.xml]
dfs.namenode.checkpoint.period
3600
(2) 一分钟检查一次操作次数,当操作次数达到1百万时,SecondaryNameNode执行一次。
dfs.namenode.checkpoint.txns
1000000
操作动作次数
dfs.namenode.checkpoint.check.period
60
1分钟检查一次操作次数
本文为原创文章,如果对你有一点点的帮助,别忘了点赞哦!比心!如需转载,请注明出处,谢谢!