BlockCache是HBase为了提升StoreFile访问效率的内存结构，包含LRUBlockCache和SlabCache。SlabCache基于块大小分配内存，采用FIFO淘汰策略；LRUBlockCache则根据最近使用频率淘汰数据。HBase默认采用LRUBlockCache，可通过配置启用DoubleBlockCache。BlockCache分为memory、single和multi三层，不同层级有不同的淘汰策略和容量分配比例。
Blockcache主要是为了提高对storefile的访问效率而增加的内存结构，通过将常访问的数据缓存在内存中来实现。
其实hbase中除了常常介绍的lrublockcache以外，还有一种是slabcache。
先简单的说明下slabcache。如果对oracle的cache管理比较熟悉的话就很容易理解slabcache，他们的基本原理是相同的。将cache根据不同的slabsize分成若干小的cache，当block数据cache到slabcache中的时候，首先要计算该block的大小，如果该block太大，找不到合适的slab则不进行缓存，直接丢弃。如果找到合适的slab，那么就将该数据存储在相应的slab中。在插入的过程中通过大小来判断，而在对slabsize则利用另外的索引结构，通过BlockCacheKey结构来查询，该结构由hfileName和offset组成。slabcache结构不是使用的lru算法进行数据的淘汰，而是简单的先进先出队列。可以想象，slabcache的结构比较简单，存储效率高，但是淘汰算法比较差。
插一句，默认情况下，hbase选择的是lrublockcache，而当我们设置了hbase.offheapcache.percentage等参数后，会启用DoubleBlockCache，实际上就是lrublockcache和slabcache的混合。
在说平时最常使用lrublockcache。根据最近使用的情况来进行淘汰，经常使用的会被保留，而不经常使用会被淘汰。hbas
其实hbase中除了常常介绍的lrublockcache以外，还有一种是slabcache。
先简单的说明下slabcache。如果对oracle的cache管理比较熟悉的话就很容易理解slabcache，他们的基本原理是相同的。将cache根据不同的slabsize分成若干小的cache，当block数据cache到slabcache中的时候，首先要计算该block的大小，如果该block太大，找不到合适的slab则不进行缓存，直接丢弃。如果找到合适的slab，那么就将该数据存储在相应的slab中。在插入的过程中通过大小来判断，而在对slabsize则利用另外的索引结构，通过BlockCacheKey结构来查询，该结构由hfileName和offset组成。slabcache结构不是使用的lru算法进行数据的淘汰，而是简单的先进先出队列。可以想象，slabcache的结构比较简单，存储效率高，但是淘汰算法比较差。
插一句，默认情况下，hbase选择的是lrublockcache，而当我们设置了hbase.offheapcache.percentage等参数后，会启用DoubleBlockCache，实际上就是lrublockcache和slabcache的混合。
在说平时最常使用lrublockcache。根据最近使用的情况来进行淘汰，经常使用的会被保留，而不经常使用会被淘汰。hbas
最低0.47元/天 解锁文章
扫一扫
9361
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
