HDFS上查看文件信息

知识点

1.查看所有 fsck 选项： hdfs fsck

2.查看文件中损坏的块：fsck / -list-corruptfileblocks

3.若查出为损坏的块，将损坏的文件移动至/lost+found目录（ -move）

hdfs fsck /user/hadoop/opt/mysql-connector-java-5.1.45.tar.gz  -move

4.删除损坏的文件

hdfs fsck /user/hadoop/opt/mysql-connector-java-5.1.45.tar.gz -delete

5.检查并列出所有文件状态（-files）

hdfs fsck /user/hadoop/opt -files

6.打印文件的Block报告（-blocks），需要和-files一起使用

hdfs fsck /user/hadoop/opt -files -blocks 

7.打印文件块的位置信息（-locations），需要和-files 、 -blocks一起使用

hdfs fsck /user/hadoop/opt -files -blocks -locations

8.打印文件块位置所在的机架信息（-racks）

hdfs fsck /user/hadoop/opt -files -blocks -locations -racks

编程要求

将本地的 /opt 目录上传至 HDFS中 /user/hadoop 目录下，并查找文件块的位置和机架信息，将查找出来的信息保存至本地的 /usr/result.txt 中。

hadoop fs -put /opt /user/hadoop
hdfs fsck /user/hadoop -files -blocks -locations -racks > /usr/result.txt