如何提高hbase的效率

本文介绍了HBase建表时如何合理设计列族以提高效率。建议列族数量控制在3个以内,因为不同列族在扩容时会一起分裂,可能导致数据分布不均。例如,拥有大量数据的列族与少量数据的列族在同一region中,全表扫描小列族时会间接全表扫描大数据列族,影响性能。因此,设计时应尽量减少列族数量,确保高效查询。
摘要由CSDN通过智能技术生成

一、建表技巧
1、合理设计列族,尽量控制在3个以内,因为当一个列族的memstore达到阀值进行扩容的时候,另外一个列族的memstore也会跟着一起扩容(不同的列族分为不同的store,但是分裂的时候是整个region都会分裂)这样会出现某些memstore数据量并不大但是分在了多个region中,降低效率。其实效率低的原因是因为,假如有AB两个100万条跟10条数据的列族,在region进行split的时候拆分在一个hfile文件中,如果经常全表扫描B这个小列族的话,变相的全表扫描了A这个大列族。因此设计的时候越少越好,尽量一个列族。
2、

 

参考博客:

https://www.jianshu.com/p/1e1646e1b38d

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值