NameNode元数据解析
(1)第一次启动namenode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载edits和fsimage文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)namenode记录操作日志,更新滚动日志。
(4)namenode在内存中对数据进行增删改查。
Fsimage Edits
Fsimage 记录HDFS文件系统的镜像快照(周期性记录)(此文件相对较小)
Edits 记录客户端对进行的所有增,删,改,追加等操作 (没有使用Secondary NameNode之前,不是周期性生成)(此文件相对较大)
Fsimage Edits作用: 用于还原集群上次关闭时的状态。还原时将两个文件加载到内存,检查,合并最终生成一个新的Fsimage.原本的Edits失效。
查看Fsimage Edits
在配置文件hdfs-site.xml中记录了两个文件的存放位置
dfs.namenode.name.dir Fsimage 的存放路径
dfs.namenode.edits.dir edits 日志存放的路径
将Fsimage转换成xml
hdfs ovi -i fsimage_0000000000000024681 -p XML -o test001.xml
将 Edits转换成xml
hdfs oev -i edits_0000000000000000523-0000000000000024565 -p XML -o test002.xml