文章目录
HBase预分区是什么
HBase中的预分区就是在创建表格之前,指定好rowkey在哪个范围的数据会落到哪个分区中,因为HBase会按照字典顺序把rowkey进行排序的,所以指定好rowkey范围即可让对应的数据落到对应的分区中去。
为什么要设置预分区
设置了预分区之后,一个分区就会落到一个region中去,设置好之后会有如下好处:
- 提高数据读写效率
某一个范围的数据都落在同一个区域,在提交读写请求的时候,就能很快知道数据的位置上或者数据应该写到那里,不用从头开始扫描,所以能提高读写效率。 - 防止数据倾斜,起到负载均衡的作用
设置预分区的时候,可以设置每个分区的可以容纳的rowkey数量一致,这样就能节本上控制每个分区的数据量,从而达到负载均衡地作用。但是因为HBase的数据可能会很松散(有些数据有很多列,有些数据列的数量很少)这样也会导致出现负载不均衡的情况,所以具体要根据业务需求来进行分配
如何设置预分区
-
手动设置预分区
创建表格时设置好分区界限:create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000']
分区效果: