本文介绍了Hadoop-2.x版本中新增的SecondaryNameNode、CheckpointNode和BackupNode，它们用于NameNode的同步和备份，确保fsimage和edits文件的安全。SecondaryNameNode定期合并fsimage和edits，CheckpointNode从NameNode下载并合并文件，而BackupNode则在内存中实时维护命名空间状态。每个节点都有相应的检查点参数和控制方式，提升了HDFS的可用性和数据完整性。
在Hadoop-2.x版本之前只存在SecondaryNameNode，没有CheckpointNode、BackupNode的概念，在2.x版本中引入了后两者，增强了对NameNode的同步和备份。现在就学习一下2.x版本中的SecondaryNameNode、CheckpointNode、BackupNode，在开始之前先了解一下NameNode中的两个重要文件fsimage和edits以及NameNode是如何使用这两个文件持久化命名空间的，比如HDFS文件系统的元数据。
NameNode使用fsimage和edits持久化命名空间，其中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。当NameNode启动时，NameNode从fsimage中读取HDFS的状态，并会合并edits中信息到fsimage中以提供最新的文件系统元数据，这样fsimage中保存了HDFS的最新状态并会创建新的空的edits文件。由于fsimage和edits的合并只在NameNode启动时执行，如果NameNode长时间没有重新启动过，edits日志文件将会变得非常大，另一个edits日志文件太大的副作用时下次NameNode的重启将会花费更多的时间，因为需要更多的时间合并fsimage和edits文件。
由上面的描述可知fsimage和edits文件对整个HDFS有着至关重要的作用，一旦NameNode失效，比如宕机无法启动或者硬盘损坏，就将
订阅专栏 解锁全文
扫一扫
6045
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
