Hadoop之hdfs查看fsimage和edits

一抹鱼肚白

已于 2023-03-03 16:12:24 修改

阅读量967

点赞数

于 2023-03-03 16:02:30 首次发布

本文链接：https://blog.csdn.net/weixin_43652205/article/details/129321988

版权

大数据专栏收录该内容

70 篇文章

订阅专栏

Fsimage是HDFS的元数据检查点，包含所有文件和目录的inode信息。Edits文件记录了所有更新操作。NameNode启动时会合并Fsimage和Edits以保持最新元数据。hdfsoiv和hdfsoev工具用于将这些文件转换为XML格式便于查看。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/opt/module/hadoop-3.1.3/data/dfs/name/current

(1) Fsimage文件: HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息。
(2) Edits文件:存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中。
(3 ) seen_txid文件保存的是一个数字，就是最后一个edits_的数字
(4）每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并。

查看fsimage

hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

hdfs oiv -p XML -i fsimage_0000000000000000829 -o /opt/module/hadoop-3.1.3/fsimage_copy.xml

里面记录

查看edits

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

hdfs oev -p XML -i edits_inprogress_0000000000000000830 -o /opt/module/hadoop-3.1.3/edits_copy.xml

每次开机时，Hadoop将会把大于fsimage尾号数字的edits合并