Hbase缓存读写优化

小学僧丶Monk

已于 2022-11-11 15:15:15 修改

阅读量1.3k

点赞数

分类专栏： Hbase 文章标签： hbase

于 2020-03-17 17:42:12 首次发布

本文链接：https://blog.csdn.net/momo898821/article/details/104902190

版权

Hbase二级缓存

摘要由CSDN通过智能技术生成

缓存（BlockCache）

为了提高Hbase集群的读写性能，官方团队设计了两种缓存策略，这里说的缓存就是Block Cache。关于BlockCache官方提供了两种策略，堆内（on-heap）缓存LruBlockCache和BucketCache，其中BucketCache通常使用堆外（off-heap）内存。通常LruBlockCache被称为L1缓存，默认是开启的，建议不要关闭；BucketCache被称为L2缓存，开启L2缓存需要配置相关参数，例如hbase.bucketcache.combinedcache.enabled、hbase.bucketcache.ioengine和hbase.bucketcache.size。
LruBlockCache是默认的缓存，它在Java堆内存中管理。BucketCache通常使用堆外内存（off-heap），但是也可是使用文件形式（file-backed）或者堆内存（heap）。BucketCache与LruBlockCache相比，读取数据延迟要高一些，但是相对来说比较稳定，因为GC比LruBlockCache要少。因为缓存由LruBlockCache自己管理，而不是GC管理。

配置LruBlockCache

LruBlockCache默认时开启状态，由参数hfile.block.cache.size控制，取值范围0 ~ 1.0小数，表示占堆内存（heap-size）的百分比。通常MemCache和LruBlockCache之和要小于0.8，即hbase.regionserver.global.memstore.size + hfile.block.cache.size < 0.8。表示最多占用80%的堆内存，另外20%用作其他用途。

  <property>
    <name>hbase.regionserver.global.memstore.size</name>
    <value>0.4</value>
  </property>
  <!--L1读缓存-->
  <property>
    <name>hfile.block.cache.size</name>
    <value>0.4</value>