Hadoop2.0 HA环境下，检查点过程由standby namenode发起，当满足固定时间间隔或未检查事务数量阈值时触发。standby namenode将内存元数据保存为fsimage.ckpt_txid，重命名为fsimage_txid并上传至active namenode。配置包括检查点间隔、事务阈值、检查周期、fsimage和edits文件数量限制等。
hdfs将文件系统的元数据信息存放在fsimage和一系列的edits文件中。在启动HDFS集群时，系统会先加载fsimage，然后逐个执行所有Edits文件中的每一条操作，来获取完整的文件系统元数据。
Edits & fsimage文件
HDFS的存储元数据是由fsimage和edits文件组成。fsimage存放上次checkpoint生成的文件系统元数据，Edits存放文件系统操作日志。checkpoint的过程，就是合并fsimage和Edits文件，然后生成最新的fsimage的过程。- Edits文件： 在配置了HA的hadoop2.x版本中，active namenode会及时把HDFS的修改信息（创建，修改，删除等）写入到本地目录，和journalnode上的Edits文件，每一个操作以一条数据的形式存放。Edits文件默认每2分钟产生一个。正在写入的Edits文件以edits_inprogress_*格式存在。
- fsimage文件： fsimage里保存的是HDFS文件系统的元数据信息。每次checkpoint的时候生成一个新的fsimage文件，fsimage文件同步保存
最低0.47元/天 解锁文章
807
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
