Hdfs 数据块丢失处理

 

1、查看节点、hdfs、丢失的数据块 命令：hadoop dfsadmin -report 

  用这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。

当然NameNode有个http页面也可以查询，但是这个命令的输出更适合我们的脚本监控dfs的使用状况；具体如图：

[root@66666logs]# hdfs dfsadmin -report

Configured Capacity: 72539149762560 (65.97 TB)

Present Capacity: 62519147544887 (56.86 TB)

DFS Remaining: 61535167979520 (55.97 TB)

DFS Used: 983979565367 (916.40 GB)

DFS Used%: 1.57%

Under replicated blocks: 22819

Blocks with corrupt replicas: 0

Missing blocks: 22727

Missing blocks (with replication factor 1): 0

-------------------------------------------------

Live datanodes (12):

Name: 192.168.200.122:50010 (evercloud122)

Hostname: evercloud122

Decommission Status : Normal

Configured Capacity: 6044929146880 (5.50 TB)

DFS Used: 98331542549 (91.58 GB)

Non DFS Used: 634533108715 (590.96 GB)

DFS Remaining: 5312064495616 (4.83 TB)

DFS Used%: 1.63%

DFS Remaining%: 87.88%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 2

Last contact: Wed Sep 27 16:47:15 CST 2017

 

2、查看文件系统的健康状况：hdfs fsck --<path> [-options]

 

Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
        <path>             检查这个目录中的文件是否完整

        -move               破损的文件移至/lost+found目录
        -delete             删除破损的文件

        -openforwrite   打印正在打开写操作的文件

        -files                 打印正在check的文件名

        -blocks             打印block报告 （需要和-files参数一起使用）

        -locations         打印每个block的位置信息（需要和-files参数一起使用）

        -racks               打印位置信息的网络拓扑图 （需要和-files参数一起使用）

 

hadoop  fsck /

 

用这个命令可以检查整个文件系统的健康状况，但是要注意它不会主动恢复备份缺失的block，这个是由NameNode单独的线程异步处理的。

 

3、如果hadoop不能自动恢复，则只能删除 corrupted blocks;

     hdfs fsck -delete