机房断电导致HBase集群region offline故障解决

环境描述：ambari集群+hdfs+zookeeper+hbase

错误描述：hdfs 存在部分 corrupt replica blocks/missing blocks/under replicated blockes

Block Errors

31  corrupt replica / 30  missing / 31 under replicated

hbase存在大量的offline regin 和 少量missing region。

修复方法：

1、hdfs修复:

退出hdfs安全模式，不然可能namenode无法启动。

su fdfs
hadoop dfsadmin -safemode leave

查看report报告

hadoop dfsadmin -report

Under replicated blocks　　　　副本数少于指定副本数的block数量
Blocks with corrupt replicas　　 存在损坏副本的block的数据
Missing blocks　　　　　　　　丢失block数量

核心步骤1：更改已经上传文件的副本数，修复Missing blocks

hadoop fs -setrep -R 3 /

核心步骤2：删除已损坏的block

hdfs fsck -delete 

至此，hdfs修复，查看ui，上述3个指标应该都为0.

 

2、h