NN，2NN以及DN的工作机制

NameNode和SecondaryNameNode的工作机制

​ 首先NameNode中有两个文件：一个是Fsimage：是NameNode内存中元数据序列化后形成的文件。还有一个是Edits：编辑日志，这个日志负责记录客户端更新元数据的每一步操作。

​ 然后当NameNode启动时，会滚动Edits编辑日志，生成一个空的Edits.inpress文件。然后将Edits和fsImage加载到内存中进行合并。从而保证元数据是最新的。然后客户端会对元数据进行增删改的操作，这些操作都会被记录到edits_inprogess操作日志中，而那个2NN会每个一分钟向NN请求是否需要checkpoint，当操作次数达到一百万次或者时间过了一个小时，这时2NN就会执行checkpoint。所谓checkpoint，就是NN此时会滚动正在写的Edits并生成新的edits_inprogress，将滚动前的edits编辑日志和fsImage镜像文件复制到2NN中，2NN会edits和fsImage加载到内存中进行合并，生成新镜像文件fsImage_chkpoint，然后在复制到NN中，重名为Fsimage，替换掉 原来的fsImage。这就是NameNode和SecondaryNameNode的工作机制。

DataNode 工作机制

1. 一个数据块在DataNode上是以文件的形式存储在磁盘上，①数据本身，②元数据包括：数据块的长度，块数据的校验和，以及时间戳。

   [atguigu@hadoop102 subdir0]$ ll
   总用量 2280
   -rw-rw-r--. 1 atguigu atguigu  15903 8月   6 13:31 blk_1073741825
   -rw-rw-r--. 1 atguigu atguigu    135 8月   6 13:31 blk_1073741825_1001.meta
   [atguigu@hadoop102 subdir0]$ pwd
   /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-445198177-192.168.6.102-1596686627647/current/finalized/subdir0/subdir0
   

2. DataNode启动后会向NameNode进行注册，通过后，会周期性（系统默认是1小时）的向NameNode汇报所有的块信息。（1小时太短了，公司一般都会改成六个小时）

3. NameNode会每隔3秒感知一次DataNode的心跳，如果超过十分中零三十秒没有收到某个DataNode的心跳，则认为这个节点不可用了。