hbase修复--数据无法写入到表中。

1、问题描述:
hbase集群搭建后,突然有一天发现数据写不进去,查看了各种原因以及百度,解决方案各种各样,但是都没有解决我的问题,有的解决方法直接就相当于重新搭建一次集群,把zk中的节点以及hdfs上的hbase数据表都清了。显然不是我们要的结果。

2、解决步骤
我们输入hbck命令查看hbase的集群问题:

[hadoop@hadoop12 ~]$ hbase hbck 
2017-11-24 13:36:02,912 INFO  [main] util.HBaseFsck: Loading regionsinfo from the hbase:meta table
ERROR: Empty REGIONINFO_QUALIFIER found in hbase:meta
ERROR: Empty REGIONINFO_QUALIFIER found in hbase:meta

Number of empty REGIONINFO_QUALIFIER rows in hbase:meta: 2

----------
2 inconsistencies detected.
Status: INCONSISTENT

#根据上面的图我们发现有region有空的row,所以我们需要进行修复一下:
[hadoop@namenode2 opt]$ hbase hbck -fixEmptyMetaCells

然后我们再查看hbase的集群情况:

至此问题就已经解决了,下面是hbck的详细命令解释,是从他人的博客上copy的。

新版本的 hbck 可以修复各种错误,修复选项是:     
(1-fix,向下兼容用,被-fixAssignments替代     
(2-fixAssignments,用于修复region assignments错误     
(3-fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。     
(4-fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题     
(5-fixHdfsOrphans,修复Orphan region(hdfs上面没有.regioninfo的region)     
(6-fixHdfsOverlaps,修复region overlaps(区间重叠)问题     
(7-fixVersionFile,修复缺失hbase.version文件的问题     
(8-maxMerge <n> (n默认是5),当region有重叠是,需要合并region,一次合并的region数最大不超过这个值。     
(9-sidelineBigOverlaps ,当修复region overlaps问题时,允许跟其他region重叠次数最多的一些region不参与(修复后,可以把没有参与的数据通过bulk load加载到相应的region)     
(10-maxOverlapsToSideline <n> (n默认是2),当修复region overlaps问题时,一组里最多允许多少个region不参与     
由于选项较多,所以有两个简写的选项     
(11-repair,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps12-repairHoles,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans     



新版本的 hbck     
(1)缺失hbase.version文件     
 加上选项 -fixVersionFile 解决     
(2)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中     
 加上选项 -fixAssignments 解决     
(3)如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有     
 加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regionserver close region),( -fixMeta删除META表中region的记录)     
(4)如果一个region在META表中没有记录,没有被regionserver服务,但是在hdfs上面有     
加上选项 -fixMeta -fixAssignments 解决,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录)     
(5)如果一个region在META表中没有记录,在hdfs上面有,被regionserver服务了     
加上选项 -fixMeta 解决,在META表中添加这个region的记录,先undeploy region,后assign     
(6)如果一个region在META表中有记录,但是在hdfs上面没有,并且没有被regionserver服务     
加上选项 -fixMeta 解决,删除META表中的记录     
(7)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region没有被服务     
加上选项 -fixAssignments 解决,assign这个region     
(8)如果一个region在META表中有记录,在hdfs上面也有,table是disabled的,但是这个region被某个regionserver服务了     
加上选项 -fixAssignments 解决,undeploy这个region     
(9)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region被多个regionserver服务了     
加上选项 -fixAssignments 解决,通知所有regionserver close region,然后assign region     
(10)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符     
加上选项 -fixAssignments 解决     

(11)region holes     
需要加上 -fixHdfsHoles ,创建一个新的空region,填补空洞,但是不assign 这个 region,也不在META表中添加这个region的相关信息     
(12)region在hdfs上面没有.regioninfo文件     
-fixHdfsOrphans 解决     
(13)region overlaps     
需要加上 -fixHdfsOverlaps     


说明:     
(1)修复region holes时,-fixHdfsHoles 选项只是创建了一个新的空region,填补上了这个区间,还需要加上-fixAssignments -fixMeta 来解决问题,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录),所以有了组合拳 -repairHoles 修复region holes,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans2-fixAssignments,用于修复region没有assign、不应该assign、assign了多次的问题     
(3-fixMeta,如果hdfs上面没有,那么从META表中删除相应的记录,如果hdfs上面有,在META表中添加上相应的记录信息     
(4-repair 打开所有的修复选项,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps     

新版本的hbck从(1)hdfs目录(2)META(3)RegionServer这三处获得region的Table和Region的相关信息,根据这些信息判断并repair    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值