修复hbase region hole问题流程

转载 2012年03月27日 16:32:01
修复hbase region hole问题流程
1,查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失,考虑其他办法,
   首先考虑用major_compact对该表进行更新看是否会检测到问题并修复,major_compact完成之后未成功
   
2,重新起动hbase集群,是否会进行闭环检测?未成功,但是0.90.4将会带有检测并修复功能

3,考虑通过修改.meta.表,将非闭环改成闭环,测试机一直再用没检测,直接用hbase shell修改.meta.表是不成功的,可以考虑程序,另有metaedit api提供调用


4,使用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix修复工具进行修复,未成功,
   原因是这两个都是通过.regioninfo来重新映射到.meta.表,但是我们的文件本身就是非闭环的所以修复失败
   
5,考虑使用merge将非闭环合并,命令(该命令要关闭hbase集群执行,还需要在hbase-site.xml配置fs.default.name):
hbase org.apache.hadoop.hbase.util.Merge 
Usage: bin/hbase merge <table-name> <region-1> <region-2> 
完成之后成功,
使用hbase hbck检测:
wb_xxx_xxx_xxx is okay.
Number of regions: 2988
0 inconsistencies detected.
Status: OK

wb_xxx_xxx_xxx表修复成功,集群内不再存在hole region

相关文章推荐

HBase region is not online 问题修复

一年多没有搞HBase了,回想前年和营神一起的日子,~~~。今天同事遇到下面一个问题:hbase(main):002:0> get 'mynamespace:user_basic_info','BAC...

Hbase的读写流程、快照管理以及RegionServer,Region,StoreFile,Hfile,ColumFamily的关系

下面是hbase的架构图:1.hbase的写操作 首先client端写操作会先访问zookeeper获取hmaster的地址,然后访问hmasterhmaster会将处理这次操作的HRegionSer...

HBase中region split的大致流程

经过和社区讨论,并参照wan
  • c77_cn
  • c77_cn
  • 2014年08月22日 16:41
  • 1161

关于HBase0.94版本在split region后META Scanner和CatalogJanitor并发操作时存在的问题

我们大家都知道,Hbase Region在达到一定大小的时会自动split为两个daughter region,...

多region下的hbase写入问题

最近在集群上发现hbase写入性能受到较大下降,测试环境下没有该问题产生。而生产环境和测试环境的区别之一是生产环境的region数量远远多于测试环境,单台regionserver服务了约3500个re...
  • A221133
  • A221133
  • 2011年10月24日 17:29
  • 713

多Region下HBase写入问题

最近在集群上发现hbase写入性能受到较大下降,测试环境下没有该问题产生。而生产环境和测试环境的区别之一是生产环境的region数量远远多于测试环境,单台regionserver服务了约3500个re...

HBase 表的创建 属性 避免热点问题 region split

1.查看建表帮助help 'create' Creates a table. Pass a table name, and a set of column family specifications ...

Hbase写入量大导致region过大无法split问题

最近在线上往hbase导数据,因为hbase写入能力比较强,没有太在意写的问题。让业务方进行历史数据的导入操作,中间发现一个问题,写入速度太快,并且业务数据集中到其中一个region,这个region...

Hbase优化之Region分割设置的问题

Hbase优化之Region分割设置的问题Hbase一张表可以分别存储在几个Region上,一个Region又分成了好多store,一个store又分成了Memstore和StoreFile,当Mem...

Hbase写入量大导致region过大无法split问题

最近在线上往hbase导数据,因为hbase写入能力比较强,没有太在意写的问题。让业务方进行历史数据的导入操作,中间发现一个问题,写入速度太快,并且业务数据集中到其中一个region,这个region...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:修复hbase region hole问题流程
举报原因:
原因补充:

(最多只允许输入30个字)