解决预期数据下HBase建表时如何预分区regions.

本文介绍了在HBase中预分区regions以优化大量数据导入的方法。通过分析数据分布,确定适当的分割点,确保数据在regions间的均衡分布。文章详细讲解了两种预分区策略:1) 使用特定startKey和endKey直接指定;2) 利用splits_file文件进行预分区。此外,还提到了基于规则的分区算法如HexStringSplit和UniformSplit。
摘要由CSDN通过智能技术生成
最近一次发现导入10几T数据到HBase(自动分配regions模式)表中,该表只占用55个resions匪夷所思, 根据每个resions存储文件的大小10G( hbase.hregion.max.filesize设置的值是10G), hbase表压缩方式为:“SNAPPY”格式.此类压缩比在60%左右. 根据以上计算,数据表最少分配600个resions. 实际通过查看hbase表各个resion的文件大小,发现有的regions文件有600G的数据量,这种数据存储严重异常.


通过数天排查(每个resionServer最大可以分配的resions个数),测试环境的集群中各种尝、验证,最终使用指定分隔点个数去分配regions的方式成功导入数据,并且数据分配也很均衡. (分隔点如何确定:根据全量的rowkey分割600份,然后抽取每份的最后一个rowkey值作为分割点)

此次排查思路主要参考了之前成功导入数据表的meta信息,
查看某个表的meta信息:echo "scan 'hbase:meta'" | hbase shell | grep 'hbase_table_name' , 然后观察每个regions的 startKey 及 endKey


根据hbase的建表手册, 创建hbase表时预分regions有俩种方式:

1、如果整个导入的数据集是已知的,并且也知道所有Hbase表的Rowkey的分布情况,通过Region的startkey和endkey的方式预分区,此种方式完全可以满足存储在每个regions上的数据均衡分布, 这种方式有2种建表方式, 如果分割点比较少,可以在建表语句中直接指定,
1.1、例如:
create &#
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值