一:Hbase Memstore Flush
Hbase中,Region时集群节点上最小的数据存储单元,用户数据表由一个或多个Region组成。
在Region中,每个ColumnFamily(列簇)的数据组成一个Store。每个Store由一个或多个StoreFile实例,StoreFile是对存储数据文件(HFile)的轻量级封装。
一个Store还有一个MemStore。每一个HRegionServer的所有东西会共享一个HLog。
1:MemStore级别:hbase.hregion.memstore.flush.size默认128MB,当Region中任意一个MemStore的大小达到了上限,触发memstore flush。
2:Region级别:hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size,默认是4 * 128MB=512MB。当Region中所有MemStore的大小总和达到了上限,触发memstore flush。
3:RegionServer级别:当一个RegionServer中所有Memstore大小总和达到上限,hfile.block.cache.size(默认值0.4) * hbase_regionserver_heapsize(默认值2GB)=819.2MB。触发memstore flush,flush按照memstore由大到小,直到总体memstore使用量低于阈值。
4:RegionServer中Hlog数量达到上限(hbase.regionserver.maxlogs):系统会选取最早的一个Hlog对应的一个或多个Region进行flush。根据hbase.regionserver.global.memstore.size来决定:Math.max(32,(regionserverHeapSizememstoreSizeRatio2/logRollSize))。
5:Hbase定期刷新Memstore:默认值是3600000,即1个小时。如果设定为0,则意味着关闭自动刷写。确保Memstore不会长时间没有持久化,为了避免Memstore在同一时间都进行flush导致问题,定期的flush操作会有20000左右的随机延迟。
6:手动执行flush:
API:
flush(TableName tableName):对单表进行刷写。
flushRegion(byte[] regionName):对单个Region进行刷写。
HBase Shell:
flush ‘tablename’
flush ‘regionname’