一、NameNode启动时如何维护元数据:
1、概念介绍:
Edits文件:
编辑日志的作用
编辑日志是记录对文件或者目录的修改信息,比如删除目录,修改文件等信息。编辑日志一般命名规则是“edits_*”,它在NameNode启动后,记录对文件系统的改动序列。
edits文件存放的是hadoop文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先会被记录到edits文件中。
FsImage映像文件:
镜像文件的作用
通过查看上面的xml文件,可以知道镜像文件实际是存放的目录结构、文件属性等相关信息。另外也可以看到MD5校验文件,这个文件主要是用来判断镜像文件是否发生修改。fsimage文件是NameNode中关于元数据的镜像,一般称为检查点,它是在NameNode启动时对整个文件系统的快照。
fsimage文件是hadoop文件系统元数据的一个永久性的检查点,其中包含hadoop文件系统中的所有目录和文件idnode的序列化信息。
-rw-rw-r-- 1 czz czz 42 2月 3 10:41 edits_*
-rw-rw-r-- 1 czz czz 1.0M 2月 3 10:41 edits_inprogress_0000000000000021485
-rw-rw-r-- 1 czz czz 21K 2月 3 10:41 fsimage_0000000000000021484
-rw-rw-r-- 1 czz czz 62 2月 3 10:41 fsimage_0000000000000021484.md5
-rw-rw-r-- 1 czz czz 6 2月 3 10:41 seen_txid
-rw-rw-r--. 1 czz