HBase使用的13条建议

本文总结了13条优化HBase性能的建议,包括预分区建表以避免热点,限制列族数量以提高扫描效率,合理使用Bloom过滤器,调整BlockCache策略,控制内存中的数据量,利用批量put提升写入性能,以及优化RowKey设计等。此外,还提到了业务重试机制、生存期TTL和数据压缩等方面,旨在帮助提升HBase的读写效率和资源利用率。
摘要由CSDN通过智能技术生成

一、通过预分区的方式建表

在建表时对HBase进行region的预分区,这样就能避免热点,提高数据写入效率。比如,rowkey的前几位字符串都是从0001~0010的数字,这样就可以分成10个region,使用SPLISTS,如下:

create't1','f1',{SPLITS=>['0001','0002','0003','0004','0005','0006','0007','0008','0009']}

二、列族数量不应超过2个

一个StoreFile对应一个ColumnFamily,多个ColumnFamily那么就有多个StoreFile。由于不同的列族会共享region,所以有可能出现,一个列族A已经有1000万行,而另外一个B才100行。当一个要求region分割的时候,会导致100行的列族B会同样分布到多个region中,导致扫描列族B的性能低下。

三、 隆过滤器

减少特定访问模式下的查询时间,建议使用ROW模式。

NONE:不使用布隆过滤器

ROW:行级,行键使用布隆过滤器——其在额外空间开销和提升性能之间有很好平衡

ROWCOL:行加列级,列键也使用布隆过滤器,不建议开启。

BLOOMFILTER=>‘ROW’

四、BlockCache设置<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值