HDFS HA 之 集群搭建 - 基于Quorum Journal Manager（hadoop2.7.1）

0、前置概念

0.1 checkpoint 检查点

在Hadoop分布式文件系统（HDFS）中，检查点（Checkpointing）是一个关键的过程，它涉及到将文件系统的命名空间状态持久化到磁盘。这个状态由两部分组成：EditLogs和FsImage。

• EditLogs：记录了自FsImage生成后对文件系统所做的所有修改。每次对文件系统的修改都会追加到EditLogs中。
• FsImage：包含了文件系统所有目录和文件的元数据的一个快照，在系统启动时加载。

检查点的作用

• 性能优化：随着时间的推移，EditLogs可以变得非常大，因此，合并这些日志到FsImage可以减少NameNode启动时加载和应用EditLogs所需的时间。
• 系统稳定性：通过定期创建检查点，可以减少在发生故障时需要恢复的数据量，从而提高系统的稳定性和可靠性。
• 数据恢复：在系统崩溃后，检查点可以用来恢复文件系统的状态。最新的FsImage和EditLogs会被用来重建文件系统的元数据。

检查点的创建

• 检查点的创建通常由Secondary NameNode或在HA配置中的Standby NameNode负责：
• Secondary NameNode：在非HA配置中，Secondary NameNode定期从Active NameNode下载EditLogs和FsImage，并将它们合并以创建新的FsImage。这个过程不会影响Active NameNode的正常运行。
• Standby NameNode：在HA配置中，