Hadoop中NN和2NN工作机制

一、我们为什么要有2NN

我们知道，hdfs的元数据信息存储在NameNode中，每次对hdfs的文件进行操作，那么将会不断地访问元数据信息。如果将元数据信息放在磁盘中，必然会造成效率低下，访问速度慢等问题，所以将元数据的信息存储在内存中。

但将元数据信息存储在内存中，如果集群在使用的的过程中因为异常中断，那么元数据信息将会全部丢失，因此要将元数据信息备份在在磁盘里，生成fsimage镜像文件。

如果每次对元数据的操作都要同步到fsimage（磁盘）中，则和原来没什么两样，同样的效率低下，因此引入edits文件，只对该文件做追加操作，追加操作元数据的信息，即使集群在使用的过程中发生了故障，启动时是需要将镜像文件和edits文件合并进入内存中即可恢复，同时不会产生读写过慢的现象。

在合并fsimage和edits文件是，如果使用NN去合并，可能会造成NN效率低下，因此专门引入2NN，来合并这两个文件，提高集群的工作效率。

二、合并fsimage和edits文件的流程

1、NameNode启动时

当NN初次启动时，会进行初始化，创建feimage和edits文件。如果不是初次启动，会会直接加载feimage文件和edits文件到内存中

2、当客户端对文件进行增删改时，会将操作信息加载到edits文件中，然后再对文件进行增删改查

3、当不断追加操作信息到edits文件中，操作记录达到一定数量，或者时间到某个阈值（默认是一个小时），2NN会询问NN是否chectpoint，直接待会NN的检查结果。