Hbase 中MemStore的刷盘机制

 

        memstore 是Hbase写缓存的

        为了提高Hbase的写入性能，当请求写入MemStore后，不会立即刷盘。而是会等到一定的时候进行刷盘操作。有一下六种刷盘方式:

一、全局内存

        这个全局的参数是控制内存整体的使用情况，当所有 memstore 占整个 heap（堆） 的最大比例的时候，会触发刷盘的操作。

        设置参数:

hbase.regionserver.global.memstore.uperLimit   默认为整个heap内存的40%

        但是这并不意味着全局内存触发的刷盘操作会将所有的MemStore都进行刷盘，而是通过另一个参数    hbase.regionserver.global.memstore.lowerLimit 来控制，默认是整个heap内存的35%。当flush到所有memstore站整个heap内存的比率为35%的时候。就会停止刷盘。这么做主要是为了减少刷盘对业务带来的影响，实现平滑系统负载均衡的目的。

二、MemStore达到上线        

        当 MemStore 的大小达到  Hbase.hregion.memstore.flush.size 大小时候会触发刷盘，默认 128M大小。

三、手动触发

        可以通过hbase shell 或者 java api 手工触发  flush 的操作。

四、RegionServer的Hlog达到上限

        前面说到Hlog为了保证Hbase数据的一致性，那么如果Hlog太多的话，会导致故障恢复的时间太久，因此Hbase会对Hlog的最大个数做一个限制。当达到Hlog的最大限制个数的时候，会强制刷盘。这个参数是   Hbase.regionserver.max.logs  默认是32个。

五、关闭RegionServer触发

        在正常关闭RegionServer会触发刷盘操作,全部数据刷盘后就不需要再使用Hlog恢复数据。

六、RegionServer应用Hlog恢复完数据后触发

        当Region 出现故障的时候，其上面的Region 会迁移到其他正常的RegionServer上，在恢复完Region的数据后，会触发刷盘，当刷盘完成后才会提供给业务访问。