hbase 0.94.3代码学习-flush（1）

flush触发方式

1. Server端执行更新操作（put、delete、multi(MultiAction<R>multi)、（private）checkAndMutate、mutateRow (byte[] regionName, RowMutations rm)）执行前后触发内存检查

• 操作执行前

MemStoreFlusher .reclaimMemStoreMemory，如果regionserver使用memstore大于upper，则循环创建flush任务加入flushQueue，每次循环sleep5秒钟，这种检查是调用flushOneForGlobalPressure的flush

• 操作执行前

HRegion. checkResources()，如果当前region的memstore大于flushsize * multiplier，则循环调用requestFlush()，每次循环sleep（hbase.server.thread.wakefrequency），否则直接返回。

• 执行操作HRegion的internal*
• 执行操作后

如果当前region达到flushsize，则触发requestFlush() 生成FlushRegionEntry包含当前region信息并加入flushQueue进行对指定region的flush。

 

所有执行flush操作的过程都是通过MemStoreFlusher的flushRegion完成。

HRegion.flushRegion过程

1.    判断文件数是否达到block要求hbase.hstore.blockingStoreFiles

如果达到的话，判断是否超过block时长hbase.hstore.blockingWaitTime

如果已经超过，则执行HRegion.flushcache()

如果没有超时

并且是第一次进入queue，则检查是否执行split和compact。

否则重新加入flushQueue延迟blockingWaitTime/100

2.    执行

HRegion.flushcache()->HRegion.internalFlushcache()

执行完成后再检查一次是否需要split和compact

 

HRegion.internalFlushcache过程

1.    为Region下的每个store创建一个StoreFlusherImpl

2.    为memstore生成snapshot，实际就是把集合赋值给flusher的内部集合，然后给memstore重新new一个集合。

3.    Store. internalFlushCache，生成memstoreScanner将数据通过StoreFile.Writer写成HFile

出自：http://blog.csdn.net/eryk86/article/details/9061429 转载请注明出处