HBase Major Compaction大合并

前言:大合并,就是将一个Region下的所有StoreFile合并成一个StoreFile文件,在大合并的过程中,之前删除的行和过期的版本都会被删除。大合并一般一周做一次,由于执行期间会对整个集群的磁盘和带宽带来较大影响,一般建议设置hbase.hregion.majorcompaction设为0来禁用该功能,并在夜间集群负载较低时通过定时任务脚本来执行。

#!/bin/bash

#author:Wang Kuan

#date:2019-05-16

#major_compaction is use short I/O and bandwidth consumption for low latency of subsequent queries

metrics_status="metrics_status.txt"

metrics_file_count="metrics_file_count.txt"

metrics_filecount_gt="metrics_fiflecount_gc.txt"

metrics_filecount_sorted="metrics_filecount_sorted.txt"

tables_need_compact="tables_need_conpact.txt"

rm -rf $metrics_status $metrics_file_count $metrics_filecount_gt $metrics_filecount_sorted $tables_need_compact

compact_num=10

storefile_num=40

echo "status 'detailed'" | hbase

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值