Hadoop面试题---NN、DN以及2NN的工作机制

一、NN和2NN的工作机制

1.首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问
，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存
中，一旦断电，元数据丢失，整个集群就无法工作了。**因此产生在磁盘中备份元数据的 FsImage。**
2.这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致
效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据
丢失。因此，引入 Edits 文件（只进行追加操作，效率很高）。每当元数据有更新或者添加
元数据时，修改内存中的元数据并追加到 Edits 中。这样，一旦 NameNode 节点断电，可以
通过 FsImage 和 Edits 的合并，合成元数据。
3.但是，如果长时间添加数据到 Edits 中，会导致该文件数据过大，效率降低，而且一旦断
电，恢复元数据需要的时间过长。因此，需要定期进行 FsImage 和 Edits 的合并，如果这
个操作由NameNode节点完成，又会效率过低。**因此，引入一个新的节点SecondaryNamenode， 
专门用于 FsImage 和 Edits 的合并**。

1、NN的作用
（1）NN保存着HDFS上所有文件的元数据，这些信息以两个文件的形式永久保存在本地磁盘上：fsimage镜像文件和edits编辑日志文件。
（2）