HDFS入门（五）—— NameNode 和 SecondaryNameNode （图文详解步骤2021）

HDFS入门（五）—— NameNode 和 SecondaryNameNode （图文详解步骤2021）

引入

5.1 NN 和 2NN 工作机制

思考：NameNode 中的元数据是存储在哪里的？
首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。
这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。因此，引入 Edits 文件（只进行追加操作，效率很高）。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到 Edits 中。这样，一旦 NameNode 节点断电，可以通过 FsImage 和 Edits 的合并，合成元数据。 但是，如果长时间添加数据到 Edits 中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行 FsImage 和 Edits 的合并，如果这个操作由NameNode节点完成， 又会效率过低。 因此， 引入一个新的节点SecondaryNamenode，专门用于 FsImage 和 Edits 的合并。

NameNode工作机制

1 ） 第一 阶段：NameNode 启动

（1）第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode 记录操作日志，更新滚动日志。
（4）NameNode 在内存中对元数据进行增删改。

2 ） 第二 阶段：Secondary NameNode 工作

（1）Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode是否检查结果。
（2）Secondary NameNode 请求执行 CheckPoint。
（3）NameNode 滚动正在写的 Edits 日志。
（4）将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。
（5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件 fsimage.chkpoint。
（7）拷贝 fsimage.chkpoint 到 NameNode。
（8）NameNode 将 fsimage.chkpoint 重新命名成 fsimage。

5.2 Fsimage 和 Edits 解析

1 ）oiv 查看 Fsimage 文件

（1）查看 oiv 和 oev 命令

[leokadia@hadoop102 current]$ hdfs

oiv            apply the offline fsimage viewer to an fsimage 
oev            apply the offline edits viewer to an edits file 

（2）基本语法

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

（3）案例实操

[leokadia@hadoop102 current]$ pwd

/opt/module/hadoop-3.1.3/data/dfs/name/current 

[leokadia@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000261 -o /opt/module/hadoop-3.1.3/fsimage.xml

在刚刚的输出目录下找到了镜像文件

现在将其传输到windows环境：
将其下载到桌面上

打开镜像文件查看

思考：可以看出，Fsimage 中没有记录块所对应 DataNode，为什么？
在集群启动后，要求 DataNode 上报数据块信息，并间隔一段时间后再次上报。

2 ）oev 查看 Edits 文件

（1）基本语法

hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径

（2）案例实操

[leokadia@hadoop102 current]$ hdfs oev -p XML -i edits_inprogress_0000000000000000262 -o/opt/module/hadoop-3.1.3/edits.xml

继续下载到桌面：
[leokadia@hadoop102 hadoop-3.1.3]$ sz edits.xml

思考：NameNode 如何确定下次开机启动的时候合并哪些 Edits？

注意时间，看到每间隔1h进行一次合并
集群一停止、开关机也要合并一次

5.3 CheckPoint 时间设置

1 ） 通常情况下，SecondaryNameNode 每隔一小时执行一次

[hdfs-default.xml]

<property> 
  <name>dfs.namenode.checkpoint.period</name> 
  <value>3600s</value> 
</property> 

2 ） 一分钟检查一次操作次数，当操作次数达到 1 百万时，SecondaryNameNode执行一次

<property> 
  <name>dfs.namenode.checkpoint.txns</name> 
  <value>1000000</value> 
<description>操作动作次数</description> 
</property> 
 
<property> 
  <name>dfs.namenode.checkpoint.check.period</name> 
  <value>60s</value> 
<description> 1 分钟检查一次操作次数</description> 
</property>