NameNode和secondNameNode工作机制

NameNode和secondNameNode工作机制

1. 第一阶段：NameNode启动
（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode中的Edits记录操作日志，更新滚动日志 （数据安全的重要性所以先写入磁盘再去执行）
（4）NameNode在内存中对元数据进行增删改。

2.第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
（2）Secondary NameNode请求执行CheckPoint。
（3）NameNode滚动正在写的Edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到NameNode。
（8）NameNode将fsimage.chkpoint重新命名成fsimage。
（注意：每次合并时都会产生新的Edits_00X（X会累加）文件，不会立即删除，而是会累积，到一定数量才会删除
并且把最后一次的edits_X数字保存到seen.txid文件中
（/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current/seen.txid）
）