NameNode和SecondaryNameNode工作机制

NameNode和SecondaryNameNode工作机制

一、Namenode工作原理

1）第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode记录操作日志，更新滚动日志。
（4）NameNode在内存中对元数据进行增删改。
2）第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。

二、Fsimage和Edits解析

(1)oiv查看Fsimage文件

hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

案例实操

[hadoop@hadoop102 current]$ pwd /opt/module/hadoop-3.1.3/data/tmp/dfs/name/current

[hadoop@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml

[hadoop@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/fsimage.xml

(2)oev查看Edits文件

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

案例实操

[hadoop@hadoop102 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-3.1.3/edits.xml

[hadoop@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/edits.xml

三、CheckPoint时间设置

1）通常情况下，SecondaryNameNode每隔一小时执行一次。

[hdfs-default.xml]
<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分钟检查一次操作次数</description>
</property >

四、总结

1. 目前在实际生产环境中已经很少使用SecondNamenode对元数据进行备份，因为在断电情况下会丢失一小部分数据，目前主要采用HA高可用架构（后面会介绍）。
2. 但是对于大数据初学者来说，NN和2NN之间的数据拷贝机制是很值得学习的，尤其是根据存操作比存储数据更加节省资源的思想产生的Fsimage和Edits文件对元数据进行管理。
3. 由于NN节点需要管理元数据，对客户端请求进行应答，所以对新的操作进行合并生成元数据的任务便交给了2NN节点，由此产生的checkpoint机制也是非常值得我们学习的。