HBase的flush(刷写)及compact(合并)机制

1、Flush机制

（1）当memstore的大小超过这个值的时候，会flush到磁盘,默认为128M

<property>
    <name>hbase.hregion.memstore.flush.size</name>
    <value>134217728</value>
</property>

（2）当memstore中的数据时间超过1小时，会flush到磁盘

<property>
    <name>hbase.regionserver.optionalcacheflushinterval</name>
    <value>3600000</value>
</property>

（3）HregionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%

<property>
    <name>hbase.regionserver.global.memstore.size</name>
    <value>0.4</value>
</property>

（4）手动flush

flush tableName

2、阻塞机制

        以上介绍的是Store中memstore数据刷写磁盘的标准，但是Hbase中是周期性的检查是否满足以上标准满足则进行刷写，但是如果在下次检查到来之前，数据疯狂写入Memstore中，会出现什么问题呢？会触发阻塞机制，此时无法写入数据到Memstore，数据无法写入Hbase集群。

• memstore中数据达到512MB

     计算公式：base.hregion.memstore.flush.size*hbase.hregion.memstore..block.multiplier
  hbase.hregion.memstore.flush.size刷写的阀值，默认是 134217728，即128MB。
  hbase.hregion.memstore.block.multiplier是一个倍数，默认 是4。

• RegionServer全部memstore达到规定值

  hbase.regionserver.global.memstore.size.lower.limit是0.95，
  hbase.regionserver.global.memstore.size是0.4，
  堆内存总共是 16G，
  触发刷写的阈值是：6.08GB
  触发阻塞的阈值是：6.4GB

3、Compact合并机制

在hbase中主要存在两种类型的compac合并

• minor compact 小合并
  • 在将Store中多个HFile(StoreFile)合并为一个HFile

        这个过程中，删除和更新的数据仅仅只是做了标记，并没有物理移除，这种合并的触发频率很高。

  • minor compact文件选择标准由以下几个参数共同决定：

    <!--待合并文件数据必须大于等于下面这个值-->
    <property>
        <name>hbase.hstore.compaction.min</name>
        <value>3</value>
    </property>
    <!--待合并文件数据必须小于等于下面这个值-->
    <property>
        <name>hbase.hstore.compaction.max</name>
        <value>10</value>
    </property>
    <!--默认值为128m,表示文件大小小于该值的store file 一定会加入到minor compaction的store file中-->
    <property>
        <name>hbase.hstore.compaction.min.size</name>
        <value>134217728</value>
    </property>
    <!--默认值为LONG.MAX_VALUE，表示文件大小大于该值的store file 一定会被minor compaction排除-->
    <property>
        <name>hbase.hstore.compaction.max.size</name>
        <value>9223372036854775807</value>
    </property>

    触发条件

    • memstore flush

      在进行memstore flush前后都会进行判断是否触发compact

    • 定期检查线程

         周期性检查是否需要进行compaction操作,由参数：hbase.server.thread.wakefrequency决定，默认值是10000 millseconds

• major compact 大合并
  • 合并Store中所有的HFile为一个HFile

        这个过程有删除标记的数据会被真正移除，同时超过单元格maxVersion的版本记录也会被删除。合并频率比较低，默认7天执行一次，并且性能消耗非常大，建议生产关闭(设置为0)，在应用空闲时间手动触发。一般可以是手动控制进行合并，防止出现在业务高峰期。

  • major compaction触发时间条件

    <!--默认值为7天进行一次大合并，-->
    <property>
        <name>hbase.hregion.majorcompaction</name>
        <value>604800000</value>
    </property>

  • 手动触发

    ##使用major_compact命令
    major_compact tableName