HBase—Compaction之详解

最新推荐文章于 2023-03-05 10:09:19 发布
最新推荐文章于 2023-03-05 10:09:19 发布
阅读量763 收藏
点赞数
分类专栏： hadoop生态 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44786879/article/details/107778581
版权
本文详细介绍了HBase的Compaction，包括Minor和Major Compaction的定义，合并流程，触发时机，以及多种合并策略，如RatioBased、Exploring、FIFO、Tier-Based和Stripe Compaction策略。
摘要由CSDN通过智能技术生成

1.概述

  • Compaction核心功能是合并小文件，HBase的Compaction分为Minor Compaction和major Compaction两类

    • Minor Compaction选取部分小的，相邻的HFile文件进行合并

    • Major Compaction是将一个Store中的所有HFile文件合并成一个更大的HFile

2.合并流程

  • HBase启动一个独立线程从对应的Store中选取要合并的HFile
  • 从这些HFile中依次读出KeyValue，进行归并排序处理写到./tmp目录下的临时文件
  • 将临时文件移动到Store的数据目录
  • 将Compation的输入文件路径和输出文件封装成KeyValue写入HLog，并标记为Compation，强行执行sync
  • 合并成新的HFile取代之前的HFile对外提供服务
  • 删除已经被合并的HFile文件

3.触发时机

  • MemStore Flush：每次MemStore Flush都会检查当前Store的文件数量，如果达到阈值则触发Compaction，此时整个Region的所有Store都会执行Compact检查
  • 后台周期性检查：后台线程CompactionChecker定期触发检查对应的Store是否需要执行Compation，先检查Store的文件数量然后检查是否满足Major Compation条件(默认7天执行一次)
  • 手动触发

4.合并策略

  • 合并前检查
    • 排除正则执行Compation的文件以及比这些文件更新的所
最低0.47元/天 解锁文章
大树1993
关注
专栏目录
HBase学习七：Compaction
qwerty1372431588的博客
01-17 524
Compaction是从一个Region的一个Store中选择部分HFile文件进行合并。其目的为了减少 HFile 的个数跟清理掉过期和删除的数据。合并原理是，先从这些待合并的数据文件中依次读出KeyValue，再由小到大排序后写入一个新的文件。之后，这个新生成的文件就会取代之前已合并的所有文件对外提供服务。HBase根据合并规模将Compaction分为两类：Minor Compaction和Major Compaction。
HBase中Compaction及读缓存机制研究_王运萍
01-22
将HBase作为研究对象，分析其存储架构，针对HBase存储机制进行深入研究
HBase Compaction（1）
LW_ICE
03-07 630
了解HBase的童鞋都知道，HBase是一种Log-Structured Merge Tree架构模式，用户数据写入先写WAL，再写缓存，满足一定条件后缓存数据会执行flush操作真正落盘，形成一个数据文件HFile。随着数据写入不断增多，flush次数也会不断增多，进而HFile数据文件就会越来越多。然而，太多数据文件会导致数据查询IO次数增多，因此HBase尝试着不断对这些文件进行合并，这个合
详解HBase Compaction
luyee2010的专栏
02-28 1556
1. Compaction是什么 合并多个HFile生成一个HFile Compaction有两种： Minor Compaction（部分文件合并）Major Compaction（完整文件合并） 2.为什么要Compaction？ 减少HFile文件的个数提高性能清除过期和删除数据 3.配置 修改Hbase配置文件可以控制compaction行为
HBase Compaction详解
热门推荐
赵英超的博客
03-23 1万+
RegionServer维护Master分配给它的region，处理对这些region的IO请求,负责切分在运行过程中变得过大的region, 由于集群性能（ 分配的内存和磁盘是有限的 ）有限的，那么HBase单个RegionServer的region数目肯定是有上限的。Region数目上限     RegionServer的region数目取决于memstore的内存使用，每个region拥有一...
HBase的Compaction理解
淡定一生2333的博客
05-05 3335
本文是对自己了解到的HBase Compaction机制做个总结。 为什么需要Compaction: 因为HBase使用了LSM树，将写数据和索引时的随机写转变成了顺序写磁盘，提高了写入时的性能。但是小文件过多的话，查询数据时的I/O次数会增加，影响查询性能。所以HBase提供了Compaction机制，将小文件合并成大文件，目的是查询性能。 Minor and M...
HBase架构——详解
hujieliang123的博客
03-01 3179
HBase详解 HBase读写流程 HBase架构
HBase应用最佳实践详解.pptx
10-14
此外，监控和调整HBase的各项参数也是关键，如major_compaction执行周期、handler.count和block.cache.size等。 通过上述最佳实践，读者不仅能掌握HBase的基本操作，还能理解如何根据实际需求进行定制化优化，从而...
HBase详解
I_absolutely的博客
08-30 786
HBase详解一、HBase是什么1、HBase的基本架构一、HBase是什么1、HBase的基本架构2、HBase的基本架构二、HBase操作1、写流程2、Flush3、读流程4、StoreFile Compaction5、Region Split三、HBase优化1、HDFS层优化2、HBase自身优化3、预分区4、Rowkey设计2、HBase的基本架构二、HBase操作1、写流程2、Flush3、读流程4、StoreFile Compaction5、Region Split三、HBase优化1、HD
Hbase---Compaction
cyq6239075的博客
09-13 476
数据写入、读取流程使用了LSM树体系架构，HBase中的用户数据在LSM树体系架构中最终会形成一个一个小的HFile文件。我们知道，HFile小文件如果数量太多会导致读取低效。为了提高读取效率，LSM树体系架构设计了一个非常重要的模块——Compaction。Compaction核心功能是将小文件合并成大文件，提升读取效率。一般基于LSM树体系架构的系统都会设计Compaction，比如LevelDB、RocksDB以及Cassandra等，都可以看到Compaction的身影。 我们首先介绍Compac
HBASE Compaction 简介
青冬的博客
05-17 717
HBASE Compaction简介 序 since: 2021年4月8日 9:43 auth: Hadi 参考： https://blog.csdn.net/u011598442/article/details/90632702 http://hbasefly.com/2016/07/25/hbase-compaction-2/?oudery=krl7p&xovahc=btigk 为什么要执行Compaction HBase 是基于LSM-Tree 存储模型设计的，...
HBase中的Compaction详解
qq_42456324的博客
12-09 1272
由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的 HFile 中，因此查询时需要遍历所有的 HFile。为了，以及，会进行 StoreFile Compaction。
Hadoop HBase中Compaction原理学习
写博客只为学习
05-12 222
[size=large][b]HBase Compaction策略[/b][/size] RegionServer这种类LSM存储引擎需要[color=red][b]不断的进行Compaction来减少磁盘上数据文件的个数和删除无用的数据从而保证读性能。[/b][/color] RegionServer后台有一组负责flush region的线程(MemStoreFlusher)，每次从f...
Compaction的原理与Hbase Compaction实现
最新发布
晓晓的天空
03-05 1146
Compaction的原理与Hbase Compaction实现
hbase compation基本原理01
weixin_34138056的博客
04-08 242
回顾一下hbase写流程1、HBase是一种Log-Structured Merge Tree架构模式，2、用户数据写入先写WAL，再写缓存，3、满足一定条件后缓存数据会执行flush操作真正落盘，形成一个数据文件HFile。 什么叫Compaction （压缩合并）1、随着数据写入不断增多，flush次数也会不断增多，进而HFile数据文件就会越来越多。2、然而，太多数据文件会导致数据查询IO次...
南修子学Hbase-Hbase Compaction操作
huangrunxing的专栏
03-23 197
Hbase从MemStore刷写一次数据到磁盘就会生成一个StoreFile，所以会导致小文件过多的情况发生，因此StoreFile Compation就派上用场了。 Compation分为两种，Minor Compaction(小)和Major Compaction（大，全局的），常用的是Major Compaction hbase shell命令： 默认情况下， 小于3个走的是Minor Compaction， 大于等于3个走的是Major Compaction > compact 'ta..
HBase-存储文件合并StoreFile Compaction 和 Region Split
一个写湿的程序猿
08-27 810
文章目录- StoreFile Compaction- Region Split - StoreFile Compaction 由于MemStore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile。为了减少HFile的个数，以及清理掉过期和删除的数据，会进行 StoreFile Compaction。 Compaction分为两种，分别是Minor Compaction和M
HBase目录结构详解：关键组件与功能
在数据压缩（Compaction）过程中，HBase会将不再活跃或过时的HFile（Hadoop分布式文件系统中的二进制存储格式）归档至此，以节省存储空间。 2. `/hbase/corrupt` (2): 这个目录包含两个子目录：splitlog的corrupt...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值