NameNode (NN) 和 SecondayNameNode (2NN) 的工作机制

最新推荐文章于 2023-12-12 09:50:51 发布

williamccc

最新推荐文章于 2023-12-12 09:50:51 发布

阅读量365

点赞数 1

分类专栏：大数据hadoop

本文链接：https://blog.csdn.net/williamccc/article/details/107897228

版权

大数据hadoop 专栏收录该内容

14 篇文章 0 订阅

订阅专栏

NameNode (NN) 和 SecondayNameNode (2NN) 的工作机制

首先，我们需要思考NameNode中的元数据是存储在什么中？是内存中还是磁盘中呢？显然如果只存在内存中的话，一旦断电，元素据就丢失了，整个集群就无法工作。如果存在NN节点的磁盘中话，因为需要进行随机访问，还要响应客户请求，效率必然会很低。因此元数据在内存上工作的同时，会在磁盘中备份元数据的一个镜像 FsImage，这样既能保证高效的工作，又能保证数据的安全。但是这样的话又会带来新的问题，我们不妨想象一下内存中的元数据如果在频繁的更新，那我们的FsImage也会同时更新吗？这时效率很低的。如果不更新，那这个备份就没有意义了，一旦断电，元数据仍然会丢失。因此我们在这里引入了Edits文件，修改日志。那么修改日志又承担了怎样的责任呢。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中，只进行追加操作，效率很高。也就是说Edits文件会记录内存中的元数据是如何变化的。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。如果NN自己负责合成的话，任然会导致效率很低，所以这时后2NN就会登场，Edits和FsImage都会拷贝到2NN中，2NN负责合成 (所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage)。

Fsimage：NameNode内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。

由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。

SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

2.集群的安全模式

集群的安全模式，就是在在集群启动时的一个保护机制。集群启动时主要涉及到 NameNode 和 DataNode。集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

NameNode启动时，首先会将Fsimage载入内存，并执行Edits中各项操作 (确保载入内存的是最新的元数据，因为可能没达到checkpoint的Edits和Fsimage还没有传入到2NN，所以用自己存在磁盘中的最新的 )，只有到达checkpoint以后，一份完整的Fsiamge和Edits才会传入2NN。一旦在内存中成功建立文件系统的元数据映像，则创建一个新的Fsimage文件和一个空的编辑日志。此是NameNode开始监听DataNode请求。这个过程期间，NameNode一直运行在安全模式中，NameNode的文件系统对于客户端来说只能读和下载不能修改。

当DataNode启动时，NameNode才能通过DataNode的反馈得到我们存储的数据的信息。因为数据是以数据块的形式存储在DataNode中的。只能当DataNode启动后，才能对数据进行修改操作。

当DataNode向NameNode反馈时，如果发现丢失超过两个数据块，安全模式则无法自动退出。如果满足“最小副本条件”，NameNode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以NameNode不会进入安全模式。

（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）