Hbase数据刷写
触发时机
-
Region 中所有 MemStore 占用的内存超过相关阈值
- hbase.hregion.memstore.flush.size 参数控制,默认为128MB
- 如果我们的数据增加得很快,
达到了 hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier
的大小,hbase.hregion.memstore.block.multiplier 默认值为4,
也就是128*4=512MB的时候,
那么除了触发 MemStore 刷写之外,HBase 还会在刷写的时候同时阻塞所有写入该 Store 的
写请求!
-
整个 RegionServer 的 MemStore 占用内存总和大于相关阈值
- HBase 为 RegionServer 所有的 MemStore 分配了一定的写缓存(),大小等于
- hbase_heapsize(RegionServer 占用的堆内存大小)*
hbase.regionserver.global.memstore.size(默认值是 0.4)。
- hbase_heapsize(RegionServer 占用的堆内存大小)*
- 如果整个 RegionServer 的 MemStore 占用内存总和大于阈值将会触发 MemStore 的刷写。
- hbase.regionserver.global.memstore.size.lower.limit (默认值为 0.95)* MAX_SIZE
- 例如:HBase 堆内存总共是 32G ,MemStore 占用内存为:32 * 0.4 * 0.95 = 12.16G将触发
刷写 - 如果达到了 RegionServer 级别的 Flush,当前 RegionServer 的所有写操作将会被阻塞,这
个阻塞可能会持续到分钟级别。
- HBase 为 RegionServer 所有的 MemStore 分配了一定的写缓存(),大小等于
-
WAL数量大于相关阈值
-
数据到达 Region 的时候是先写入 WAL,然后再被写到 Memstore 。
-
如果 WAL 的数量越来越大,这就意味着 MemStore 中未持久化到磁盘的数据越来越多。
-
当 RS 挂掉的时候,恢复时间将会变得很长,所以有必要在 WAL 到达一定的数量时进行一次
刷写操作 -
max(32, hbase_heapsize * hbase.regionserver.global.memstore.size * 2 /
logRollSize)
-
-
定期自动刷写
- hbase.regionserver.optionalcacheflushinterval
- 默认值 3600000(即 1 小时),HBase 定期 Flush 所有 MemStore 的时间间隔。
- 一般建议调大,比如 10 小时,因为很多场景下 1 小时 Flush 一次会产生很多小文件,一方
面导致 Flush 比较频繁,另一方面导致小文件很多,影响随机读性能
-
数据更新超过一定阈值
- 如果 HBase 的某个 Region 更新的很频繁,而且既没有达到自动刷写阀值,也没有达到内存
的使用限制,但是内存中的更新数量已经足够多 - 比如超过 hbase.regionserver.flush.per.changes 参数配置,默认为30000000,那么也是会
触发刷写的。
- 如果 HBase 的某个 Region 更新的很频繁,而且既没有达到自动刷写阀值,也没有达到内存
-
手动触发刷写
-
Shell 中通过执行 flush 命令
-
hbase> flush ‘TABLENAME’
hbase> flush ‘REGIONNAME’
hbase> flush ‘ENCODED_REGIONNAME’
hbase> flush ‘REGION_SERVER_NAME’
-
-
特别注意
- 以上所有条件触发的刷写操作最后都会检查对应的 HStore 包含的 StoreFiles 文件数是否超过
hbase.hstore.blockingStoreFiles 参数配置的个数,默认值是16。 - 如果满足这个条件,那么当前刷写会被推迟到hbase.hstore.blockingWaitTime 参数设置的时
间后再刷写。 - 在阻塞刷写的同时,HBase 还会请求 Compaction 或者Split 操作。
- 以上所有条件触发的刷写操作最后都会检查对应的 HStore 包含的 StoreFiles 文件数是否超过
刷写策略
- HBASE1.1之前
- MemStore 刷写是 Region 级别的。就是说,如果要刷写某个 MemStore ,MemStore 所在
的 Region 中其他 MemStore 也是会被一起刷写的
- MemStore 刷写是 Region 级别的。就是说,如果要刷写某个 MemStore ,MemStore 所在
- HBASE2.x之后
- FlushAllStoresPolicy
- 每次刷写都是对 Region 里面所有的 MemStore 进行的
- FlushAllLargeStoresPolicy
- 判断 Region 中每个 MemStore 的使用内存是否大于某个阀值,大于这个阀值的
MemStore 将会被刷写。 - flushSizeLowerBound = max((long)128 / 3, 16) = 42
- 判断 Region 中每个 MemStore 的使用内存是否大于某个阀值,大于这个阀值的
- FlushNonSloppyStoresFirstPolicy
- FlushAllStoresPolicy
刷写流程
- prepareFlush 阶段
- 刷写的第一步是对 MemStore 做 snapshot
- 为了防止刷写过程中更新的数据同时在 snapshot 和 MemStore 中而造成后续处理的困难
- 所以在刷写期间需要持有 updateLock 。持有了 updateLock 之后,这将阻塞客户端的写操
作。 - 所以只在创建 snapshot 期间持有 updateLock
- 而且 snapshot 的创建非常快,所以此锁期间对客户的影响一般非常小。
- 对 MemStore 做 snapshot 是 internalPrepareFlushCache 里面进行的。
- flushCache 阶段
- 如果创建快照没问题
- 那么返回的 result.result 将为 null。
- 这时候我们就可以进行下一步 internalFlushCacheAndCommit。
- 其实 internalFlushCacheAndCommit 里面包含两个步骤:flushCache 和 commit 阶段。
- flushCache 阶段:
其实就是将 prepareFlush 阶段创建好的快照写到临时文件里面,
临时文件是存放在对应 Region 文件夹下面的 .tmp 目录里面 - commit 阶段:
将 flushCache 阶段生产的临时文件移到(rename)对应的列族目录下面,
并做一些清理工作,比如删除第一步生成的 snapshot。
- flushCache 阶段: