HDFS5 SecondaryNameNode

HDFS5 SecondaryNameNode

更多整理都在我的github上：Auraros欢迎大家。

SecondaryNameNode在HDFS中扮演着辅助的作用,负责辅助NameNode管理工作。由于editlog文件很大所有，集群再次启动时会花费较长时间。为了加快集群的启动时间，所以使用secondarynameNode辅助NameNode合并Fsimage，editlog。

工作机制

讨论到工作机制的时候，必须要重新查看一下namenode的工作了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TjEBgsQP-1603376761463)(C:\Users\Auraros\AppData\Roaming\Typora\typora-user-images\image-20201022215503674.png)]

第一阶段：NameNode启动

（1） 第一次启动NameNode格式化后，创建fsimage和edits文件
	 如果不是第一次启动，直接加载编辑日志和镜像文件到内存
（2） 客户端对元数据进行增添删改的请求
（3） NameNode记录操作日志，更新滚动日志
（4） NameNode在内存中对数据进行增删查改

第二阶段：Secondary NameNode工作

（1）Secordary NameNode 询问 NameNode是否需要checkpoint
	直接带回NameNode是否检查结果
（2）Secordary NameNode 请求执行checkpoint
（3）NameNode滚动正在写的edits日志
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解：

namenode启动时，先滚动edits并生成一个空的edits.inprogress，然后加载edits和fsimage到内存中，此时namenode内存就持有最新的元数据信息。client开始对namenode发送元数据的增删改查的请求，这些请求的操作首先会被记录的edits.inprogress中（查询元数据的操作不会被记录在edits中，因为查询操作不会更改元数据信息），如果此时namenode挂掉，重启后会从edits中读取元数据的信息。然后，namenode会在内存中执行元数据的增删改查的操作。

由于edits中记录的操作会越来越多，edits文件会越来越大，导致namenode在启动加载edits时会很慢，所以需要对edits和fsimage进行合并（所谓合并，就是将edits和fsimage加载到内存中，照着edits中的操作一步步执行，最终形成新的fsimage）。secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。

secondarynamenode首先会询问namenode是否需要checkpoint（触发checkpoint需要满足两个条件中的任意一个，定时时间到和edits中数据写满了）。直接带回namenode是否检查结果。secondarynamenode执行checkpoint操作，首先会让namenode滚动edits并生成一个空的edits.inprogress，滚动edits的目的是给edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的edits和fsimage会拷贝到secondarynamenode的本地，然后将拷贝的edits和fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给namenode，重命名为fsimage后替换掉原来的fsimage。namenode在启动时就只需要加载之前未合并的edits和fsimage即可，因为合并过的edits中的元数据信息已经被记录在fsimage中。

checkpoint时间设置

• 通常情况下，SecondaryNameNode每隔一个小时执行一次

  hdfs-default.xml

  <property>
    <name>dfs.namenode.checkpoint.period</name>
    <value>3600</value>
  </property >
  

• 一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

  <property>
    <name>dfs.namenode.checkpoint.txns</name>
    <value>1000000</value>
  <description>操作动作次数</description>
  </property>
  
  <property>
    <name>dfs.namenode.checkpoint.check.period</name>
    <value>60</value>
  <description> 1分钟检查一次操作次数</description>
  </property >