hadoop之hdfs生产数据块损坏修复方法

1、手动修复：

   hdfs fsck /     #首先检查哪些数据块丢失了

   hdfs debug recoverLease -path 文件位置 -retries 重试次数 # 修复指定路径的hdfs文件，尝试多次

   此时，hdfs就能被修复了，切记不要使用hdfs fsck / -delete 命令，它是删除所有损坏的块的数据文件，会导致数据彻底丢失，当然若只有一个副本，或所有副本均已经损坏，则可以执行此命令。

2、自动修复

hdfs当然会自动修复损坏的数据块，当数据块损坏后，DN节点执⾏directoryscan（datanode进行内存和磁盘数据集块校验）操作之前，都不会发现损坏；也就是directoryscan操作校验是间隔6h
dfs.datanode.directoryscan.interval : 21600

在DN向NN进⾏blockreport前，都不会恢复数据块;也就是blockreport操作是间隔6h
dfs.blockreport.intervalMsec : 21600000

最终当NN收到blockreport才会进⾏恢复操作

生产中倾向于使用手动修复的方法去修复损坏的数据块。

转载：https://blog.csdn.net/qq_32641659/article/details/88243255