1、Hadoop工作机制

最新推荐文章于 2024-10-11 21:08:21 发布

qq_38608676

最新推荐文章于 2024-10-11 21:08:21 发布

阅读量212

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/qq_38608676/article/details/109070607

版权

①：NN和2NN的工作机制

NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsimage）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文件可能会变得非常庞大，特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。

Secondary NameNode定期合并fsimage和edits日志，将edits日志文件大小控制在一个限度下。
SecondaryNameNode工作流程：
SecondaryNameNode节点通知NameNode节点生成新的日志文件，以后的日志都写到新的日志文件中。
SecondaryNameNode节点用http get从NameNode节点获得fsimage文件及旧的日志文件。
SecondaryNameNode节点将fsimage文件加载到内存中，并执行日志文件中的操作，然后生成新的fsimage文件。
SecondaryNameNode节点将新的fsimage文件用http post传回NameNode节点上。
NameNode节点可以将旧的fsimage文件及旧的日志文件，换为新的fsimage文件和新的日志文件(第一步生成的)，然后更新fstime文件，写入此次checkpoint的时间。
这样NameNode节点中的fsimage文件保存了最新的checkpoint的元数据信息，日志文件也重新开始，不会变的很大了。

从代码层面看，SecondaryNamenode在其启动时，启动了一个线程（checkpointThread），checkpointThread每隔一段时间（dfs.namenode.checkpoint.check.period）执行一下checkpoint操作。

checkpoint操作执行@wangxiaolei以上所述内容，主要就是调用方法
1.downloadCheckpointFiles（包括TransferFsImage.downloadImageToStorage以及TransferFsImage.downloadEditsToStorage），下载。
2.doMerge，合并fsimage跟edits。
3.TransferFsImage.uploadImageFromStorage，回传。