三十九、NameNode工作机制、镜像文件、编辑日志文件、namenode版本号

                          NameNode工作机制、镜像文件、编辑日志文件

1、NameNode工作机制

（1）、fsimage（镜像文件）文件其实是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息；
（2）、edits（编辑日志）文件存放的是Hadoop文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。

第一阶段：namenode启动
（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）namenode记录操作日志，更新滚动日志（edits）。
（4）namenode在内存中对数据进行增删改查（fsimage）。

第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。
（2）Secondary NameNode请求执行checkpoint（同步nameNode当前状态）。
（3）namenode滚动正在写的edits日志生成新版的edits日志和新的edits.inprogress。（正在写的日志是edits.inprogress）。
（4）将滚动生成编辑日志（新版edits）和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint
（7）拷贝fsimage.chkpoint到namenode
（8）namenode将fsimage.chkpoint重新命名成fsimage

第三阶段：web端访问SecondaryNameNode
（1）启动集群
（2）浏览器中输入：http://hadoop16:50090/status.html
（3）查看SecondaryNameNode信息

第四阶段：chkpoint检查时间参数设置
（1）通常情况下，SecondaryNameNode每隔一小时执行一次。[hdfs-default.xml]

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分钟检查一次操作次数</description>
</property>

2、镜像文件和编辑日志文件

2.1、镜像文件和编辑日志文件简介

namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件：

edits_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION

（1）fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。

（2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。

（3）edits文件保存的是一个数字，就是最后一个edits_的数字

（4）VERSION：nameNode版本信息记录文件

（5）每次Namenode启动的时候都会将fsimage文件读入内存，并从00001开始到seen_txid中记录的数字依次执行每个edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。

2.2、oiv查看fsimage文件

[admin@hadoop14 current]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current
[admin@hadoop14 current]$ hdfs oiv -p XML -i fsimage_0000000000000000147 -o /opt/module/hadoop-2.7.2/fsimage.xml

-p  声明生成的文件类型               
-o  声明生成的文件地址及名称         output
-i   声明镜像文件的名称              input

2.3、oev查看edits文件

[admin@hadoop14 current]$ hdfs oev -p XML -i edits_0000000000000000001-0000000000000000002 -o /opt/module/hadoop-2.7.2/edits.xml
[admin@hadoop14 hadoop-2.7.2]$ cat edits.xml
<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
  <EDITS_VERSION>-63</EDITS_VERSION>
  <RECORD>
    <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
    <DATA>
      <TXID>1</TXID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_END_LOG_SEGMENT</OPCODE>
    <DATA>
      <TXID>2</TXID>
    </DATA>
  </RECORD>
</EDITS>

2.4、VERSION文件（namenode版本号）

[admin@hadoop14 current]$ cat VERSION 
#Tue Oct 16 09:17:37 CST 2018
namespaceID=1559882375
clusterID=CID-7190521e-8209-49d7-a523-7bfad04efa1c
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1669107349-192.168.1.114-1539453679564
layoutVersion=-63
[admin@hadoop14 cu

（1） namespaceID在HDFS上，会有多个Namenode，所以不同Namenode的namespaceID是不同的，分别管理一组blockpoolID。

（2）clusterID集群id，全局唯一

（3）cTime属性标记了namenode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。

（4）storageType属性说明该存储目录包含的是namenode的数据结构。

（5）blockpoolID：一个block pool id标识一个block pool，并且是跨集群的全局唯一。当一个新的Namespace被创建的时候(format过程的一部分)会创建并持久化一个唯一ID。在创建过程构建全局唯一的BlockPoolID比人为的配置更可靠一些。NN将BlockPoolID持久化到磁盘中，在后续的启动过程中，会再次load并使用。

（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。

2.5、滚动编辑日志

正常情况HDFS文件系统有更新操作时，就会滚动编辑日志。也可以用命令强制滚动编辑日志。
（1）滚动编辑日志（前提必须启动集群）

[admin@hadoop14 current]$ hdfs dfsadmin -rollEdits

（2）镜像文件什么时候产生
Namenode启动时加载镜像文件和编辑日志