memstore 是Hbase写缓存的
为了提高Hbase的写入性能,当请求写入MemStore后,不会立即刷盘。而是会等到一定的时候进行刷盘操作。有一下六种刷盘方式:
一、全局内存
这个全局的参数是控制内存整体的使用情况,当所有 memstore 占整个 heap(堆) 的最大比例的时候,会触发刷盘的操作。
设置参数:
hbase.regionserver.global.memstore.uperLimit 默认为整个heap内存的40%
但是这并不意味着全局内存触发的刷盘操作会将所有的MemStore都进行刷盘,而是通过另一个参数 hbase.regionserver.global.memstore.lowerLimit 来控制,默认是整个heap内存的35%。当flush到所有memstore站整个heap内存的比率为35%的时候。就会停止刷盘。这么做主要是为了减少刷盘对业务带来的影响,实现平滑系统负载均衡的目的。
二、MemStore达到上线
当 MemStore 的大小达到 Hbase.hregion.memstore.flush.size 大小时候会触发刷盘,默认 128M大小。
三、手动触发
可以通过hbase shell 或者 java api 手工触发 flush 的操作。
四、RegionServer的Hlog达到上限
前面说到Hlog为了保证Hbase数据的一致性,那么如果Hlog太多的话,会导致故障恢复的时间太久,因此Hbase会对Hlog的最大个数做一个限制。当达到Hlog的最大限制个数的时候,会强制刷盘。这个参数是 Hbase.regionserver.max.logs 默认是32个。
五、关闭RegionServer触发
在正常关闭RegionServer会触发刷盘操作,全部数据刷盘后就不需要再使用Hlog恢复数据。
六、RegionServer应用Hlog恢复完数据后触发
当Region 出现故障的时候,其上面的Region 会迁移到其他正常的RegionServer上,在恢复完Region的数据后,会触发刷盘,当刷盘完成后才会提供给业务访问。