修复hbase region hole问题流程

转载 2012年03月27日 16:32:01
修复hbase region hole问题流程
1,查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失,考虑其他办法,
   首先考虑用major_compact对该表进行更新看是否会检测到问题并修复,major_compact完成之后未成功
   
2,重新起动hbase集群,是否会进行闭环检测?未成功,但是0.90.4将会带有检测并修复功能

3,考虑通过修改.meta.表,将非闭环改成闭环,测试机一直再用没检测,直接用hbase shell修改.meta.表是不成功的,可以考虑程序,另有metaedit api提供调用


4,使用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix修复工具进行修复,未成功,
   原因是这两个都是通过.regioninfo来重新映射到.meta.表,但是我们的文件本身就是非闭环的所以修复失败
   
5,考虑使用merge将非闭环合并,命令(该命令要关闭hbase集群执行,还需要在hbase-site.xml配置fs.default.name):
hbase org.apache.hadoop.hbase.util.Merge 
Usage: bin/hbase merge <table-name> <region-1> <region-2> 
完成之后成功,
使用hbase hbck检测:
wb_xxx_xxx_xxx is okay.
Number of regions: 2988
0 inconsistencies detected.
Status: OK

wb_xxx_xxx_xxx表修复成功,集群内不再存在hole region

HBase hbck——检察HBase集群的一致性

HBase提供了hbck命令来检查各种不一致问题。hbck的名字仿效了HDFS的fsck命令,后者是一个用于检查HDFS中不一致问题的工具。下面这段非常易懂的介绍出自于hbck的源程序。      ...
  • xiao_jun_0820
  • xiao_jun_0820
  • 2014年06月05日 11:14
  • 12650

hadoop&hbase坏道检查和处理之东湖现场

今天遇到一个问题,hbase客户端写入hbase报错如下: ERROR: Region { meta => tr_image,A21ML90210111\x00\x00\x01Q,1451765854...
  • willwill101
  • willwill101
  • 2016年01月20日 16:25
  • 1440

hbase集群断电数据被破坏无法启动

集群机器意外断电重启,导致hbase 无法正常启动,抛出reflect invocation异常,可能是正在执行的插入或合并等操作进行到一半时中断,导致部分数据文件不完整格式不正确或在hdfs上blo...
  • xx7330842
  • xx7330842
  • 2016年10月26日 10:09
  • 1140

hbase region lookups流程以及rpc线程卡死问题分析

未完待更新 1.  hbase分片后的数据查找依靠 region lookups 完成:     1)         ZooKeeper中/hbase/root-region...
  • yang_net
  • yang_net
  • 2012年12月02日 22:31
  • 1481

使用hbase hbck修复region中数据不一致问题

[hbase版本1.1.2] [hbase@kmr-5b9c18fc-gn-7198aa8e-client-1-001 ~]$ ll -t total 788 -rw-r--r--. 1 hbase...
  • qq_31598113
  • qq_31598113
  • 2017年12月28日 21:37
  • 60

HBase region is not online 问题修复

一年多没有搞HBase了,回想前年和营神一起的日子,~~~。今天同事遇到下面一个问题:hbase(main):002:0> get 'mynamespace:user_basic_info','BAC...
  • u011291159
  • u011291159
  • 2017年04月06日 11:18
  • 1140

Hbase的读写流程、快照管理以及RegionServer,Region,StoreFile,Hfile,ColumFamily的关系

下面是hbase的架构图:1.hbase的写操作 首先client端写操作会先访问zookeeper获取hmaster的地址,然后访问hmasterhmaster会将处理这次操作的HRegionSer...
  • qq_20641565
  • qq_20641565
  • 2017年02月23日 15:12
  • 2427

HBase之Region上Spilt流程分析

HBase之Region上Spilt流程分析
  • zhanglh046
  • zhanglh046
  • 2017年11月14日 11:20
  • 80

HBase中region split的大致流程

经过和社区讨论,并参照wan
  • c77_cn
  • c77_cn
  • 2014年08月22日 16:41
  • 1204

HBase解决Region Server Compact过程占用大量网络出口带宽的问题

HBase 0.92版本之后,Region Server的Compact过程根据待合并的文件大小分为small compaction和large compaction两种,由此可能导致在集群写入量大的...
  • Aodimeng
  • Aodimeng
  • 2013年03月04日 20:43
  • 255
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:修复hbase region hole问题流程
举报原因:
原因补充:

(最多只允许输入30个字)