HBase2.x（十二）HBase 文件合并机制

最新推荐文章于 2023-04-24 11:50:19 发布

Alienware^

最新推荐文章于 2023-04-24 11:50:19 发布

阅读量1.3k

点赞数

分类专栏： # Hbase 文章标签： hbase 数据库大数据

本文链接：https://blog.csdn.net/weixin_45417821/article/details/127138617

版权

Hbase 专栏收录该内容

25 篇文章 5 订阅

订阅专栏

文章目录

StoreFile Compaction

StoreFile Compaction

由于 memstore 每次刷写都会生成一个新的 HFile，文件过多读取不方便，所以会进行文件的合并，清理掉过期和删除的数据，会进行 StoreFile Compaction。

Compaction 分为两种，分别是 Minor Compaction 和 Major Compaction。MinorCompaction会将临近的若干个较小的 HFile 合并成一个较大的 HFile，并清理掉部分过期和删除的数据，有系统使用一组参数自动控制，Major Compaction 会将一个 Store 下的所有的 HFile 合并成一个大 HFile，并且会清理掉所有过期和删除的数据，由参数 hbase.hregion.majorcompaction控制，默认 7 天。

在这里插入图片描述

Minor Compaction 控制机制：
参与到小合并的文件需要通过参数计算得到，有效的参数有 5 个
（1）hbase.hstore.compaction.ratio（默认 1.2F）合并文件选择算法中使用的比率。
（2）hbase.hstore.compaction.min（默认 3）为 Minor Compaction 的最少文件个数。
（3）hbase.hstore.compaction.max（默认 10）为 Minor Compaction 最大文件个数。
（4）hbase.hstore.compaction.min.size（默认 128M）为单个 Hfile 文件大小最小值，小于这个数会被合并。
（5）hbase.hstore.compaction.max.size（默认 Long.MAX_VALUE）为单个 Hfile 文件大小最大值，高于这个数不会被合并。小合并机制为拉取整个 store 中的所有文件，做成一个集合。之后按照从旧到新的顺序遍历。
判断条件为：
① 过小合并，过大不合并
② 文件大小/ hbase.hstore.compaction.ratio < (剩余文件大小和) 则参与压缩。所有把比值设置过大，如 10 会最终合并为 1 个特别大的文件，相反设置为 0.4，会最终产生 4 个 storeFile。不建议修改默认值
③ 满足压缩条件的文件个数达不到个数要求（3 <= count <= 10）则不压缩。