CDH运维｜节点宕机造成块丢失修复方案

一、场景

  cdh集群中某节点长时间宕机，还有数据不断写入hdfs，但是副本数据无法写入已宕机的节点。当宕机节点重启后，clouderManeger集群管理平台会抛出hdfs副本块丢失损坏的异常。eg：群集中有 8 个 副本不足的块 块。群集中共有 10 个块。百分比 副本不足的块: 80.00%。 临界阈值：40.00%。

二、修复方案

1.检测已损坏的块

执行： hdfs fsck /
  如下（示例）：

2.如果文件不重要

  直接将文件删除：hdfs dfs -rmr /user/yangchuan/app_log_chackPoint/operation_point/*

3.如果文件重要

  修复损坏文件：执行命令 hdfs debug recoverLease -path -retries eg：hdfs debug recoverLease -path /user/yangchuan/app_log_chackPoint/operation_point/9fe89a7d-ae60-4784-8e91-4df837aa8232/rdd-2098161/part-00000 -retries 10