HDFS-secondary namenode运行机制

Secondary namenode运行机制

1.简介

namenode在启动的时候，需要将操作日志文件edits和镜像fsimage文件合并。由于集群一般不会停止，操作日志文件edits会越来越大，当启动启动集群时nameNode合并操作日志文件和镜像文件的时间非常长。为了解决这个问题，hdfs引入了secondary namenode，定时将edits操作日志合并到镜像文件中。

2.以数据写入过程为列理解secondary namenode工作流程

（1）客户端请求写入数据操作。
（2）Namenode将操作信息写入到edits_inprogress中。
（3）Namenode将操作信息记录到内存中。
（4）Secondary namenode请求发起checkpoint请求。
（5）nameNode应答允许进行checkpoint。
（6）Namenode磁盘中的edits_inprogress分解生成新的edits_inprogress文件和edits文件。
（7）拷贝namenode中的fsimage文件和edits文件到secondary namenode中。
（8）Secondary namenode将操作日志文件edits中的信息合并到fsimage中。
（9）Secondary namenode完成合并后，生成新的镜像文件，fsimage.chkpoint
（10）拷贝新生成的fsimage.chkpoint到namenode中。
（11）重命名fsimage.chkpoint文件为fsimage

3.Secondary namenode checkpoint触发条件

checkpoint由两个参数参数决定：1小时/100万次操作就会触发checkpoint操作

dfs.namenode.checkpoint.period

默认值：3600s

dfs.namenode.checkpoint.txns

默认值：1000000