HDFS-day02-第五章NN和2NN

思考：NN中的数据存放在什么位置：

        如果是内存：那么计算快，但是可靠性差。如果是磁盘，可靠性好，但是计算慢。如果是内存+磁盘，由于内存计算快，然后持久到话磁盘，所以磁盘会拖慢整体效率，导致效率低下。

        可以采用fsimage来存储磁盘中的数据，如果是随机读写，因为hdfs修改的效率比较低，所以不推荐。但是hdfs支持追加的方式进行读写（edits），edits文件只用来记录文件，不计算值，例如只记录a+10、a-30但是不计算等于多少。

        内存中存储一部分数据，镜像文件fsimage存储计算的结果，edits文件记录当前变化的步骤。

        服务器启动的时，把fsimage和edits加入到内存。服务器关闭的时候，fsimage和edits整合。

        

        如果这样的话，edits里面可能会有大量冗余的步骤，所以想要实现合并和写入同步进行，就是fsimage和edits一边整合，一边往内存里面存。这个时候就需要2NN。2NN可以让fsimage和edits进行定期合并。

1：NameNode的工作原理

        1：一插上电的时候，edits和fsimage文件会加载到内存当中。 

        2：客户端会NameNode进行访问，例如增删改操作。

        3：edits文件会先记录这件事，因为害怕内存突然断电，所以一定要先记录，在给内存，防止给内存之后，没记录就断电。

        4：NameNode进行操作。

        然后 2NN方面

        1：2NN会向NameNode使用checkpoint查看是否需要服务

        2：checkpoint的触发条件，要么是定时时间到，要么是edits数据量太多。

        3：如果NameNode接收服务，会生成一个新的edits文件夹，之后来的请求步骤都会记录到这个新文件中。

        4：然后原来的edits文件改名复制到2NN中。同时NameNode的fsimage文件拷贝到2NN中。 

        5：然后2NN中的两个文件加载到2NN内存中，生成一个新文件fsimage

        6：然后把2NN这个新生成的fsimage文件拷贝到NN中，并在NN中改一下名字。   

2：Fsimage和Edits

        首先NameNode被格式化之后，会在hadoop-3.1.3/data/tmp/dfs/name/current目录下产生如下文件。

        1：fsimage_0000000000000000000 fsimage_0000000000000000000.md5。这类Fsimage文件，是HDFS文件系统元数据的一个永久性检查点，包含着HDFS文件系统的所有目录信息

        2：Edits文件：文件系统客户端执行的所有写操作首先都会被记录到这里。

        2：seen_txid：保存一个数字，这个数字是当前edits最近的文件后面的数字。

        3：VERSION：记录当前NameNode命令空间ID，以及集群的ID

3：oiv查看Fsimage文件

        1：查看oiv和oev命令

[atguigu@hadoop102 current]$ hdfs
oiv apply the offline fsimage viewer to an fsimage
oev apply the offline edits viewer to an edits file

        2：基本语法

#一般查看fsimage文件都看不了，所以需要这个命令进行格式化一下
hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

        3：案例

[atguigu@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current
[atguigu@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml
#这个时候就能查看了，里面记录的都是所存储的文件信息。
[atguigu@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/fsimage.xml

4：oev查看edits文件

        1：基本语法

#查看edits文件需要使用该命令
hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径

        2：案例

[atguigu@hadoop102 current]$ hdfs oev -p XML -i
edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop3.1.3/edits.xml
[atguigu@hadoop102 current]$ cat /opt/module/hadoop-3.1.3/edits.xml

思考：NameNode如何确定下次开机启动的时候合并哪些Edits

NameNode启动的时候合并的是上次停机前正在写入的Edits，即edits_inprogress_xxx，根据seen_txid里面记录最新的Fsimage(镜像文件)的值去合并Edits(编辑日志)

5：CheckPoint时间设置

        1：通常情况下，2NN每隔一小时执行一次。在hdfs-default.xml中。

        2：当操作次数达到一百万时，这个一百万的数值是在hdfs-default.xml中的dfs.namenode.checkpoint.txns参数指定的。2NN执行一次。 怎么知道一百万次了没有，需要设置一个时间间隔，加入说60s，意思就是每60s去看一眼，NN中的edits文件到达一百万次了没有。这个60s参数，是通过dfs.namenode.checkpoint.check.period这个参数指定的。