查看修复HDFS中损坏的块
检测缺失块
1 hdfs fsck -list-corruptfileblocks
1 hdfs fsck / | egrep -v '^\.+$' | grep -v eplica
查看上面某一个文件的情况
1 hdfs fsck /path/to/corrupt/file -locations -blocks -files
解决方法
- 如果文件不重要,可以直接删除此文件(hdfs fsck -delete);或删除后重新复制一份到集群中
- 如果不能删除,需要从上面命令中找到发生在哪台机器上,然后到此机器上查看日志。
常用命令介绍:
1、查看节点、hdfs、丢失的数据块 命令:hadoop dfsadmin -report
2、查看文件系统的健康状况:hdfs fsck --<path> [-options]
Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
<path> 检查这个目录中的文件是否完整
-move 破损的文件移至/lost+found目录
-delete 删除破损的文件
-openforwrite 打印正在打开写操作的文件
-files 打印正在check的文件名
-blocks 打印block报告 (需要和-files参数一起使用)
-locations 打印每个block的位置信息(需要和-files参数一起使用)
-racks 打印位置信息的网络拓扑图 (需要和-files参数一起使用)
hadoop fsck /
用这个命令可以检查整个文件系统的健康状况,但是要注意它不会主动恢复备份缺失的block,这个是由NameNode单独的线程异步处理的。
3、如果hadoop不能自动恢复,则只能删除 corrupted blocks;
hdfs fsck -delete