HDFS-镜像文件和编辑日志文件

镜像文件和编辑日志文件

1.存储位置

Namenode在格式化之后，会在/usr/local/hadoop/data/dfs/name/current路径下产生镜像文件和日志文件。该路径在core-site.xml中配置。

产生的文件：edits开头是编辑日志，fsimage开头的是镜像文件以及seen_txid。

2.文件简介

edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。
fsimage文件：它是在NameNode启动时对整个文件系统的快照，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息，并存储了HDFS文件系统元数据的一个永久性的检查点（合并截止到了那个事务节点）。
fsimage.md5文件：校验文件，判断镜像文件是否被修改。
seen_txid文件：文件保存的是一个数字，就是edits文件最后的数字。

3.查看文件内容

镜像文件和编辑日志文件不能直接使用linux命令查看内容。需要使用oiv和oev命令，oiv和oev在输出时，Hadoop官方定义可以通过4种方式输出文件内容：

• Web Processor（默认）
• XML Processor（XML方式）
• FileDistribution Processor （分布式文件系统）
• Delimited Processor（txt方式）

下面以XML方式为例讲解镜像文件和编辑日志的转存和查看。

3.1 oiv

含义：将镜像文件以一定的格式转换到本地输出路径。
基本语法：

hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

示例：
（1）将镜像文件以xml格式转存输出到本地路径

hadoop@hadoop2:/usr/local/hadoop/data/dfs/name/current$ hdfs oiv -p XML -i fsimage_0000000000000005322 -o /home/hadoop/temp/fsimage.xml

（2）使用cat命令查看文件内容

3.2 oev

含义：将编辑日志文件以一定的格式转换到本地输出路径。
基本语法：

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

示例：
（1）将编辑日志文件以xml格式转存输出到本地路径

hdfs oev -p XML -i edits_0000000000000005285-0000000000000005315 -o /home/hadoop/temp/edits.xml

（2）使用cat命令查看文件内容

4.文件内容说明

（1）镜像文件

（2）编辑日志文件