HDP3.1中Hbase的MemStore Flush

一：Hbase Memstore Flush

Hbase中，Region时集群节点上最小的数据存储单元，用户数据表由一个或多个Region组成。
在Region中，每个ColumnFamily（列簇）的数据组成一个Store。每个Store由一个或多个StoreFile实例，StoreFile是对存储数据文件（HFile）的轻量级封装。
一个Store还有一个MemStore。每一个HRegionServer的所有东西会共享一个HLog。

1：MemStore级别：hbase.hregion.memstore.flush.size默认128MB，当Region中任意一个MemStore的大小达到了上限，触发memstore flush。

2：Region级别：hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size，默认是4 * 128MB=512MB。当Region中所有MemStore的大小总和达到了上限，触发memstore flush。

3：RegionServer级别：当一个RegionServer中所有Memstore大小总和达到上限，hfile.block.cache.size(默认值0.4) * hbase_regionserver_heapsize(默认值2GB)=819.2MB。触发memstore flush，flush按照memstore由大到小，直到总体memstore使用量低于阈值。

4：RegionServer中Hlog数量达到上限(hbase.regionserver.maxlogs)：系统会选取最早的一个Hlog对应的一个或多个Region进行flush。根据hbase.regionserver.global.memstore.size来决定：Math.max(32，(regionserverHeapSizememstoreSizeRatio2/logRollSize))。

5：Hbase定期刷新Memstore：默认值是3600000，即1个小时。如果设定为0，则意味着关闭自动刷写。确保Memstore不会长时间没有持久化，为了避免Memstore在同一时间都进行flush导致问题，定期的flush操作会有20000左右的随机延迟。

6：手动执行flush：
API:
flush(TableName tableName):对单表进行刷写。
flushRegion（byte[] regionName）:对单个Region进行刷写。
HBase Shell:
flush ‘tablename’
flush ‘regionname’