2、查看 hadoop HDFS 的文件元信息

2019独角兽企业重金招聘Python工程师标准>>>

[zwh@hadoop current]$ hdfs oiv -p XML -i fsimage_0000000000000000025  -o fsimage.xml
[zwh@hadoop current]$ ll
总用量 3128
-rw-rw-r--. 1 zwh zwh      42 1月   6 20:27 edits_0000000000000000001-0000000000000000002
-rw-rw-r--. 1 zwh zwh 1048576 1月   6 20:50 edits_0000000000000000003-0000000000000000004
-rw-rw-r--. 1 zwh zwh     575 1月   7 12:39 edits_0000000000000000005-0000000000000000013
-rw-rw-r--. 1 zwh zwh      42 1月   7 13:39 edits_0000000000000000014-0000000000000000015
-rw-rw-r--. 1 zwh zwh     150 1月   7 14:39 edits_0000000000000000016-0000000000000000019
-rw-rw-r--. 1 zwh zwh      96 1月   7 15:39 edits_0000000000000000020-0000000000000000022
-rw-rw-r--. 1 zwh zwh      42 1月   7 16:39 edits_0000000000000000023-0000000000000000024
-rw-rw-r--. 1 zwh zwh 1048576 1月   7 16:39 edits_0000000000000000025-0000000000000000025
-rw-rw-r--. 1 zwh zwh     113 1月  14 17:39 edits_0000000000000000026-0000000000000000028
-rw-rw-r--. 1 zwh zwh 1048576 1月  14 17:39 edits_inprogress_0000000000000000029
-rw-rw-r--. 1 zwh zwh     598 1月  14 16:57 fsimage_0000000000000000025
-rw-rw-r--. 1 zwh zwh      62 1月  14 16:57 fsimage_0000000000000000025.md5
-rw-rw-r--. 1 zwh zwh     655 1月  14 17:39 fsimage_0000000000000000028
-rw-rw-r--. 1 zwh zwh      62 1月  14 17:39 fsimage_0000000000000000028.md5
-rw-rw-r--. 1 zwh zwh    3588 1月  14 18:03 fsimage.xml
-rw-rw-r--. 1 zwh zwh       3 1月  14 17:39 seen_txid
-rw-rw-r--. 1 zwh zwh     213 1月  14 16:57 VERSION
[zwh@hadoop current]$ more fsimage.xml 
<?xml version="1.0"?>
<fsimage><version><layoutVersion>-64</layoutVersion><onDiskVersion>1</onDiskVersion><oivRevision>2b9a8c1d3a2caf1e733d57f346af3ff0d5ba529c</oivRevision></version>
<NameSection><namespaceId>708675991</namespaceId><genstampV1>1000</genstampV1><genstampV2>1001</genstampV2><genstampV1Limit>0</genstampV1Limit><lastAllocatedBlock
Id>1073741825</lastAllocatedBlockId><txid>25</txid></NameSection>
 

1、在 ErasureCodingSection 节点，我们可以看到默认启用的是 RS-LEGACY-6-3-1024k  编码

<erasureCodingPolicy>
<policyId>3</policyId><policyName>RS-LEGACY-6-3-1024k</policyName><cellSize>1048576</cellSize><policyState>DISABLED</policyState><ecSchema>
<codecName>rs-legacy</codecName><dataUnits>6</dataUnits><parityUnits>3</parityUnits></ecSchema>
</erasureCodingPolicy>

 

2、导出来的 fsimage.xml 目录结构 和hdfs 目录一致

截图上的三个目录加上 / 目录一共四个目录

<INodeSection><lastInodeId>16389</lastInodeId><numInodes>4</numInodes>
<inode><id>16385</id><type>DIRECTORY</type><name></name><mtime>1546841948483</mtime><permission>zwh:supergroup:0755</permission><nsquota>9223372036854775807</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16386</id><type>DIRECTORY</type><name>zwh</name><mtime>1546779031886</mtime><permission>zwh:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16388</id><type>DIRECTORY</type><name>dit</name><mtime>1546834420397</mtime><permission>zwh:supergroup:0755</permission><nsquota>-1</nsquota><dsquota>-1</dsquota></inode>
<inode><id>16389</id><type>FILE</type><name>controller.log</name><replication>3</replication><mtime>1546834422478</mtime><atime>1546845769649</atime><preferredBlockSize>134217728</preferredBlockSize><permission>zwh:supergroup:0644</permission><blocks><block><id>1073741825</id><genstamp>1001</genstamp><numBytes>43251</numBytes></block>
</blocks>
<storagePolicyId>0</storagePolicyId></inode>
</INodeSection>

 

controller.log文件的 block id 对应关系

<block><id>1073741825</id>

 

 

参考资料

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html#XML_Processor

 

 

 

 

 

 

 

 

 

 

 

转载于:https://my.oschina.net/zhongwenhao/blog/3001368