预分区的意义
- 当一个table刚被创建的时候,Hbase默认的分配一个region给table。也就是说这个时候,所有的读写请求都会访问到同一个regionServer的同一个region中,这个时候就达不到负载均衡的效果了,集群中的其他regionServer就可能会处于比较空闲的状态。
- 解决这个问题可以用pre-splitting,在创建table的时候就配置好,生成多个region。
预分区可以:
- 增加数据读写效率
- 负载均衡,防止数据倾斜
- 方便集群容灾调度region
- 优化Map数量
预分区原理
- 每一个region维护着
startRow
与endRowKey
,如果加入的数据符合某个region维护的rowKey
范围,则该数据交给这个region
维护。
手动指定预分区
- 方式一:创建表时指定分区
# 分为5个范围0-1000 1000-2000 2000-30000 3000-4000 4000-5000
create 'person','info1','info2',SPLITS => ['1000','2000','3000','4000']
- 方式二:把分区规则创建于文件中
create 'student','info',SPLITS_FILE => '/split.txt'
文件内容
aaa
bbb
ccc
ddd
- 方式三: HexStringSplit 算法
- HexStringSplit会将数据从“00000000”到“FFFFFFFF”之间的数据长度按照n等分之后算出每一段的其实rowkey和结束rowkey,以此作为拆分点。
create 'mytable', 'base_info',' extra_info', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}