不同版本的hbase,list命令打印出来的东西不同,脚本要根据版本修改的,别傻乎乎的拿去就用,本人已经踩过坑了
注意对于自动balance来说, 只需要关注三个命令:
balance_switch false #关闭自动
balance balancer_enabled #查看自动balance当前状态,
切记不要使用balance_switch status(返回的是之前的状态) 命令造成误导 balance_switch true #开启自动balance
注意大合并很消耗资源,启动时要挑选集群闲暇时间
针对hbase1.x的
#!/bin/bash
time_start=`date "+%Y-%m-%d %H:%M:%S"`
echo "开始进行HBase的大合并.时间:${time_start}"
str=`echo list | hbase shell | sed -n '$p'`
#str="a,b,c"
str=${str//,/ }
arr=($str)
length=${#arr[@]}
current=1
echo "HBase中总共有${length}张表需要合并."
echo "balance_switch false" | hbase shell | > /dev/null
echo "HBase的负载均衡已经关闭"
for each in ${arr[*]}
do
table=`echo $each | sed 's/]//g' | sed 's/\[//g'`
echo "开始合并第${current}/${length}张表,表的名称为:${table}"
echo "major_compact ${table}" | hbase shell | > /dev/null
let current=current+1
done
echo "balance_switch true" | hbase shell | > /dev/null
echo "HBase的负载均衡已经打开."
time_end=`date "+%Y-%m-%d %H:%M:%S"`
echo "HBase的大合并完成.时间:${time_end}"
duration=$($(date +%s -d "$finish_time")-$(date +%s -d "$start_time"))
echo "耗时:${duration}s"
针对hbase2.x的 (ps:我们hbase2.3.5,下面的我测过了正常使用)
#!/bin/bash
time_start=`date "+%Y-%m-%d %H:%M:%S"`
echo "开始进行HBase的大合并.时间:${time_start}"
str=`echo list | hbase shell |grep -v ^$ |tail -1`
#str="a,b,c"
echo "${str}"
str=${str//,/ }
arr=($str)
length=${#arr[@]}
current=1
echo "HBase中总共有${length}张表需要合并."
echo "balance_switch false" | hbase shell
echo "HBase的负载均衡已经关闭"
for each in ${arr[*]}
do
table=`echo $each | sed 's/]//g' | sed 's/\[//g' | sed 's/"//g'`
echo "开始合并第${current}/${length}张表,表的名称为:${table}"
echo "major_compact '${table}'"| hbase shell
#echo "major_compact '${table}'" | hbase shell | > /dev/null
let current=current+1
done
echo "balance_switch true" | hbase shell
echo "HBase的负载均衡已经打开."
time_end=`date "+%Y-%m-%d %H:%M:%S"`
echo "HBase的大合并完成.时间:${time_end}"
duration=$($(date +%s -d "$finish_time")-$(date +%s -d "$start_time"))
echo "耗时:${duration}s"
定时 1,crontab
crontab -e
00 03 * * 0 bash /opt/hbase-1.2.0/major_compact.sh >> /opt/hbase-1.2.0/major_compact.log
#每周日 0点30执行合并
定时 2,上小海豚