HBase的minor major compact


    *hbase为了防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store file,这个过程就称之为compaction。
     
    *我们都知道compact分为两类,一类叫Minor compact ,一类叫Major compact,两者有什么区别呢?
        *Minor compact只是进行文件merge操作
            *hbase.hstore.compaction.min :默认值为 3,表示至少需要三个满足条件的store file时,minor compaction才会启动
            *hbase.hstore.compaction.max 默认值为10,表示一次minor compaction中最多选取10个store file
            *hbase.hstore.compaction.min.size 表示文件大小小于该值的store file 一定会加入到minor compaction的store file中
            *hbase.hstore.compaction.max.size 表示文件大小大于该值的store file 一定会被minor compaction排除
            *hbase.hstore.compaction.ratio 将store file 按照文件年龄排序(older to younger),minor compaction总是从older store file开始选择,
             如果该文件的size 小于它后面hbase.hstore.compaction.max 个store file size 之和乘以该ratio,则该store file 也将加入到minor compaction 中。
            
            
        *Major compact除了做文件Merge操作,还会将其中的delete项删除。
            *major compaction 的功能是将所有的store file合并成一个,触发major compaction的可能条件有:
                *major_compact 命令
                *majorCompact() API
                *region server自动运行
                    (相关参数:hbase.hregion.majoucompaction 默认为24 小时、hbase.hregion.majorcompaction.jetter 默认值为0.2 防止region server 在同一时间进行major compaction)。
                     hbase.hregion.majorcompaction.jetter参数的作用是:对参数hbase.hregion.majoucompaction 规定的值起到浮动的作用,假如两个参数都为默认值24和0,2,那么major compact最终使用的数值为:19.2~28.8 这个范围。(24*0.8~24*1.2)

 

详细了解Compact过程见下文:

https://blog.csdn.net/mt0803/article/details/9372227

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值