hbase表的设计

一、预分区的设计

hbase默认建表时有一个region,该region没有startkey和endkey,在向该表中写数据时都会写入到唯一的一个region中

随着数据量的增加,此region中某个store下的storeFile文件的大小达到一定阈值(动态阈值)会进行split分割,一分为二

在此过程中,会产生两个问题需要解决: 

1、在region进行split分割前会产生热点问题 

同一时间可能整个hbase集群只有一个或几个regionserver在响应客户的读写请求

2、region在被动执行split时会offline,另外会消耗大量的集群资源,导致整个hbase集群访问不稳定

如何解决: 

提前对hbase表的region指定个数,并且指定每个regionrowkey范围,降低被动split分割的几率---预分区

 

建表时创建预分区的方式

方式1

>create 't001', 'f1', SPLITS => ['10', '20', '30', '40']

创建出的region会被master随机分散在regionserver上  

startkey endkey  

region1 10

region2 10 20

region3 20 30

region4 30 40

region5 40

 

插入数据,使用不同的rowkey

> put 't200','33','f1:name','tom'    --

regionstartkeyendkey的范围是对插入数据时的

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值