HBase的优化策略和RowKey设计

最新推荐文章于 2021-03-04 20:33:33 发布

A Mr Yang

最新推荐文章于 2021-03-04 20:33:33 发布

阅读量401

点赞数

文章标签： nosql hbase hadoop

本文链接：https://blog.csdn.net/Mr_YXX/article/details/105025205

版权

本文探讨了HBase的优化策略，包括解决数据热点问题的预分区方法，通过调整Memstore和Block Cache大小提高检索效率，以及JVM参数配置。在RowKey设计上，强调了唯一性、有序性、长度和散列原则，以平衡数据分布和查询性能。通过合理设计，可以有效地避免HBase的性能瓶颈和数据不均衡。

摘要由CSDN通过智能技术生成

HBase优化策略

解决热点效应

HBase数据热点问题原因：
用户大量的读写请求访问HBase集群的一台或者某几台RegionServer，导致RegionServer负载压力激增，可能会引起RegionServer性能下降，更严重者导致服务挂掉；

预分区在创建表时，不按照默认的策略，为表只创建一个Region,而是根据需要，为一张表创建多个Region,从而避免热点效应

预分区的依据基于Rowkey进行预分区

语法：
3.1 create ‘t1’, ‘f1’, SPLITS => [‘10’, ‘20’, ‘30’, ‘40’]
3.2 create ‘t1’, ‘f1’, SPLITS_FILE => ‘splits.txt’
splits.txt
10
20
30
40
3.3 create ‘t2’, ‘f1’, {NUMREGIONS => 15, SPLITALGO => ‘HexStringSplit’}

根本上解决热点问题需要注意如下几点

预分区

rowkey设置综上2者尽量解决热点问题。