Hadoop的fsck工具

HDFS支持fsck命令用以检查各种不一致。fsck用以报告各种文件问题，如block丢失或缺少block等。fack命令用法如下：

bin/hadoop fsck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

<path>        检查的起始目录

-move        将损坏的文件移动到/lost+found下面

-delete        删除损坏的文件

-openforwrite    打印出正在写的文件

-files        打印出所有被检查的文件

-blocks        打印出block报告

-locations    打印出每个block的位置

-racks        打印出datanode的网络拓扑结构

默认情况下，fsck会忽略正在写的文件，使用-openforwrite选项可以汇报这种文件。

 

下面是用命令行在一个测试集群上执行fsck后的结果：

.......Status: HEALTHY

Total size: 32454532 B

Total dirs: 17

Total files: 7

Total blocks (validated): 7 (avg. block size 4636361 B)

Minimally replicated blocks: 7 (100.0 %)

Over-replicated blocks: 0 (0.0 %)

Under-replicated blocks: 0 (0.0 %)

Mis-replicated blocks: 0 (0.0 %)

Default replication factor: 3

Average block replication: 3.7142856

Corrupt blocks: 0

Missing replicas: 0 (0.0 %)

Number of data-nodes: 45

Number of racks: 1

 

需要注意的是在执行fsck命令行的客户端必选在hadoop-site.xml中配置dfs.http.address项，即namenode的http地址。否则会抛出java.net.ConnectException: Connection refused异常。其原因是fsck是namenode的一个servlet。而fsck命令对应的类DFSck其实是封装了一个http连接，简单的说就是抓取一个网页。而这个网页URL就是dfs.http.address配置项的value后面接上fsck，如http://10.249.65.1:50070/fsck。也就是说用浏览器打开这个网页和命令行执行fsck效果是一样的。

namenode的这个Servlet类名是FsckServlet，它的doGet函数里定义了一个NamenodeFsck对象并执行起fsck()函数。fack()函数递归地从指定path遍历所有的目录和文件，并根据选项确定要打印的内容。如果指定了-move选项，则损坏的文件会被移动到/lost+found目录，如果在根目录下已经存在一个名为lost+found的文件，则move操作会失败并打印warning信息。

对于大的集群来说，对根目录执行fsck操作是很耗时间的而且对namenode压力很大，因此要谨慎使用。通常每天在集群较空闲的时候执行一次以查看数据状况。另外由于任何用户都可以在命令行或浏览器中执行fsck操作，因此可以考虑对该操作进行 权限控制，防止被误操作。