HDFS的元数据持久化

dfs.name.dir

 

这个参数设置HDFS的元数据信息存放在本地操作系统的目录，如果有多个目录用逗号分开。

目录里的文件示例见下图

 

 1049092     2009-11-12 09:15    edits 
 17678000   2009-11-12 08:50    fsimage
 8                 2009-11-12 08:50    fstime 
 100             2009-11-12 08:50    VERSION
 

EditLog

 

Namenode用edits文件来保存对元数据进行的每次操作，比如创建文件，删除文件。类似于mysql中的binlog机制。

 

SecondNameNode

 

SecondNamenode其实只是一个简单的元数据备份进程，它会定期（缺省是1小时）把edits文件的内容合并到fsimage文件，同时保存最新的元数据副本在SecondNamenode进程所在机器的文件系统里

 

Fileimage

 

fsimage+edits才能准确表示内存中的元数据信息，NameNode启动的时候会合并edits文件到fsimage，然后load这个image到内存。这个时候系统处于safemode，等待DataNode上报各自的block数据块信息。

 

SafeMode