NN 和 2NN 工作机制
思考:NameNode 中的元数据是存储在哪里的?
首先,我们做个假设,如果存储在 NameNode 节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的 FsImage。
这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新 FsImage,就会导致效率过低,如果不更新,就会发生一致性问题,一旦 NameNode 节点断电,就会产生数据丢失。因此,引入 Edits 文件(只进行追加操作,效率很高)。每当元数据有更新或者添加元数据时,修改内存中的元数据时,修改内存中的元数据并追加到 Edits 中。这样,一旦 NameNode 节点断电,可以通过 FsImage 和 Edits 的合并,合成元数据。
第一阶段:NameNode 启动
1、第一次启动 NameNode 格式化后,创建 Fsimage 和 Edits 文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
2、客户端对元数据进行增删改的请求。
3、NameNode 记录操作日志,更新滚动日志。
4、NameNode 在内存中对元数据进行增删改。
第二阶段:Secondary NameNode 工作
1、Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode 是否检查结果。
2、Secondary NameNode 请求执行 CheckPoint。
3、NameNode 滚动正在写的 Edits 日志。
4、将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。
5、Secondary NameNode 加载编辑日志和镜像文件到内存,并合并。
6、生成新的镜像文件 fsimage.chkPoint。
7、拷贝 fsimage.chkPoint 到 NameNode。
8、NameNode 将 fsimage.chkPoint 重新命名成 fsimage。
Fsimage 和 Edits 解析
-
oiv 查看 Fsimage 文件
hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径
[kane@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current
[kane@hadoop102 current]$ hdfs oiv -p xml -i fsimage_0000000000000000528 -o /opt/software/fsimage.xml
# 下载到桌面
[kane@hadoop102 software]$ sz fsimage.xml
-
oev 查看 Edits 文件
hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径
[kane@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current
[kane@hadoop102 current]$ hdfs oev -p xml -i edits_inprogress_0000000000000000529 -o /opt/software/edits.xml
# 下载到桌面
[kane@hadoop102 software]$ sz edits.xml
CheckPoint 时间设置
1.通常情况下,SecondaryNameNode 每隔一小时执行一次。
2.一分钟检查一次操作次数,当操作次数达到1百万时,SecondaryNameNode 执行一次