读者来信 | 如何判断HBase Major Compact是否执行完毕？（已解决）

最新推荐文章于 2022-06-20 13:15:42 发布
最新推荐文章于 2022-06-20 13:15:42 发布
阅读量2.6k 收藏 4
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42047967/article/details/105381789
版权
本文介绍了如何判断HBase Major Compact是否执行完毕，提供了通过HBase WebUI界面和HBase Shell命令行的两种检查方法，并解释了相关监控指标的含义及小版本中的bug。
摘要由CSDN通过智能技术生成

前言：之前有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为：《读者来信》。欢迎关注本人微信公众号《HBase工作笔记》，扫描文末二维码解锁更多姿势！

来信人：罗*铭

小猿提问

如何判断HBase Major Compact是否执行完毕？

小猿解答

这里提供两种查看方式： 一种是HBase WebUI 界面； 另外一种是HBase Shell命令行 。 我们下面看一下。

1. HBase WebUI

点击Web首页Compactions按钮查看每一个RS Compact完成情况； 点击ServerName进入RS Web页后点击Compaction Metrics可查看该RS上每一个Region Compact 完成情况。

2. HBase Shell

通过Shell方式查看同WebUI查看大同小异，只不过没有将这些指标可视化而已。如果有兴趣，可以自己采集这些指标做一个漂亮的监控界面~

通过命令 status 'simple' 可查看HBase RS级别的一些指标，其中 compactionProgressPct=1.0

最低0.47元/天 解锁文章
禅克
关注
HBase 计划外启动 Major Compaction 的原因
Laurence的技术博客
10-09 561
HBase 的 Compaction 有两个线程池，一个是为 Minor Compaction 准备的， 一个是为 Major Compaction 准备的，hbase.regionserver.thread.compaction.throttle 是决定 Compaction 请求放入哪个线程池的阈值，当待合并文件的总大小小于这个阈值时，就是一个 Minor Compaction，当待合并文件的总大小大于这个阈值时，就是一个 Major Compaction。这个阈值的默认值是：2.5 GB （26843
关于Hbase手动实现Major Compact的办法
Fergal1204653510的专栏
12-24 1万+
本人小菜，如有错误或疏漏之处，请各位大牛批评指正，求共同进步。发表此博文，旨在帮助遇到类似问题的朋友一点小的建议或思路。废话少说，开始吧。。。       最近，因项目需要。Hbase数据量很大，项目组提出需要对Hbase中目前所有表（当前有5个）进行major_compact操作。是按照需要，每天凌晨3点自动执行major_compact操作。             具体实现：    
hbase权威指南： store file合并（compaction）
热门推荐
竹叶青 的专栏
04-29 2万+
hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的store file，这个过程就称之为compaction。在hbase中，主要存在两种类型的compaction：minor  compaction和major compaction。           major compaction 的
major_compact
mnasd的博客
07-31 7640
一、major_compact的操作目的 （1）合并文件 （2）清除删除、过期、多余版本的数据 （3）提高读写数据的效率   HBase中实现了两种compaction的方式：minor and major. Minor compactions will usually pick up a couple of the smaller adjacent StoreFiles and rew...
hbase compaction
longlovefilm的博客
09-02 626
minor compaction 会真正删除 ttl的内容 major compaction ttl 多余version
Hbase Compaction 过程
程序员学习圈
09-18 627
1. minor Compaction     HBase 会自动选择一些较小的 HFile，并将它们重写成更少且更大的 Hfiles，这个过程 称为 Minor Compaction。Minor Compaction 通过将较小的文件重写为较少但较大的文件来减 少存储文件的数量，执行合并排序。     Minor 操作只用来做部分文件的合并操作，不做任何删除数据、多版本数据的清理工作。 Mi...
hbase major compact脚本
南风知我意
05-03 1754
major_compact脚本 注意大合并很消耗资源，启动时要挑选集群闲暇时间 针对hbase1.x 针对hbase2.x
HBase major_compact
chengyu1850的博客
06-17 4743
一、major_compact的操作目的 （1）合并文件 （2）清除删除、过期、多余版本的数据 （3）提高读写数据的效率 HBase中实现了两种compaction的方式：minorandmajor.Minorcompactionswillusuallypick...
读者来信 | 设置HBase TTL必须先disable表吗？（已解决）
weixin_42047967的博客
04-06 946
今日有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为：《读者来信》。如遇到本人能力有限难以解决的问题，该贴将会被转发至我的资源圈寻求大佬们出手帮助，并附上提问者微信二维码。也欢迎大家在留言区积极探讨解决方案~ 来信人：黄*伟 小猿提问 如果我用Spark处理文件写进HBase，文件按日期每天增量下发，如果只想在HB...
Hbase compact以及split跟踪
06-29 122
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。...
HBase Compaction（1）
LW_ICE
03-07 629
了解HBase的童鞋都知道，HBase是一种Log-Structured Merge Tree架构模式，用户数据写入先写WAL，再写缓存，满足一定条件后缓存数据会执行flush操作真正落盘，形成一个数据文件HFile。随着数据写入不断增多，flush次数也会不断增多，进而HFile数据文件就会越来越多。然而，太多数据文件会导致数据查询IO次数增多，因此HBase尝试着不断对这些文件进行合并，这个合
HBase compaction了解和手动触发major_compaction方法
c18092694487t的博客
10-09 6171
Major Compaction 的作用： 1.将一个Region下的所有StoreFile合并成一个StoreFile文件 2.对于删除、过期、多余版本的数据进行清除 3.提高读写数据的效率 HBase中实现了两种compaction的方式： 1.Minor compaction:只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期版本清理，不做任何删除数据、多版本数据的清理工作。 2.Major compaction:是对Region下的HStore的所有StoreFile执行
详解HBase Compaction
追求卓越
04-12 787
HBase 中有一种数据行为叫Compaction，从字面的意思就是数据文件合并，本文对Compaction的目的，控制方法，具体实施过程等几个方面对HBase 的 Compaction 行为进行了介绍。 1. Compaction是什么 合并多个HFile生成一个HFile Compaction有两种： Minor Compaction（部分文件合并） Major Compac
HBASE手动触发major_compact
bigdata_player
04-10 4760
定时器执行脚本： #!/bin/bash source /etc/profile sh ./hbase shell <<EOF major_compact 'table_name' EOF major_compact语法： 语法： #Compact all regions in a table: hbase> major_compact 't1' #Comp...
HBase compact 总结 及 调优配置
breakout_alex的博客
10-09 2043
Compaction介绍 在HBase中，每当memstore的数据flush到磁盘后，就形成一个storefile，当storefile的数量越来越大时，会严重影响HBase的读性能，所以必须将过多的storefile文件进行合并操作。Compaction是Buffer-flush-merge的LSM-Tree模型的关键操作，主要起到如下几个作用： （1）合并文件 （2）清除删除、过期、多余版本的数据 （3）提高读写数据的效率 HBase中实现了两种compaction的方式：minoran..
HBase学习笔记（四）——HBase的flush、compact机制
u011047968的专栏
06-20 1987
在HBase中数据被写入 WAL 和 MemStore 后就可以说数据已经被成功写入到 Hbase 了。MemStore 中的数据达到一定的阈值，会被 Flush 成 HDFS 中的 HFile 文件。但是随着 Flush 次数的不断增多，HFile 的文件数量也会不断增多。从多个 HFile 文件中读取记录，将导致更多的 IOPS，这会使得读取时延不断增大。 Compaction 可以将一些 HFile 文件合并成为较大的 HFile 文件，也可以把所有的 HFile 文件合并成为一个大的 HFi
HBase Shell 常用命令有哪些？
最新发布
09-11
HBase Shell是HBase数据库的命令行界面，提供了丰富的命令用于管理HBase数据库。以下是一些常用的HBase Shell命令： 1. `list`：列出当前HBase中的所有表。 ``` hbase> list ``` 2. `create`：创建一张新表，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值