hbase数据删除不释放region解决办法


转http://www.aboutyun.com/thread-8306-1-1.html


设置ttl,这个就需要disable表,需要丢数据,实在是没有办法了,然后设置了ttl


  1. 1:disable "table"  
  2. 2:alter 'table' , {NAME=>'la',TTL=>'15768000'}   
  3. 3:enable "table"  
复制代码

然后日志就一直刷屏,在合并,更新。删除数据文件。
疑问:执行以上三条命令,时间差不多3分钟,就恢复了,但是后日志一直在合并,我查询了下数据,数据也正常记录,但是查询报错“region not online”,region还在合并呗。就是说影响数据就影响了几分钟,hdfs的数据在慢慢的删除,大概执行了6小时,删除了完毕,服务器恢复正常。


最严重的一个问题:
       hbase不释放region,把数据删除了,region还不释放,那在分析的时候,很消耗内存。
       思路:删除hdfs regionID、删除meta表的region指向.

删除hdfs 


  1. #!/bin/sh  
  2. if [ $# -lt 3 ] ; then  
  3.     echo "please input 3 parameter[file_name_path、hadoop_path、input_path]"  
  4.     exit  
  5. else  
  6.     cat $1 | while read row  
  7.     do  
  8.         regionpath=`echo "$row" | awk -F '.' '{print $2}'`  
  9.         table=`echo "$row" | awk -F ',' '{print $1}'`  
  10.         #删除hdfs的region  
  11.         if [ -z $table ] ; then  
  12.            echo "table is null"  
  13.            exit;  
  14.         fi  
  15.   
  16.         if [ -z $regionpath ] ; then  
  17.            echo "regionpath is null"  
  18.            exit;  
  19.         fi  
  20.   
  21.         cd $2  
  22.         ./hadoop fs -rmr  /hbase/$table/$regionpath  
  23.         #删除meta表的region  
  24.         echo "deleteall '.META.','$row'">>$3  
  25.         echo "$regionpath"  
  26.     done  
  27. fi  
复制代码

删除meta

  1. #!/bin/sh  
  2. if [ $# -lt 2 ] ; then  
  3.     echo "please input 2 parameter[hbase_path、file_path]"  
  4.     exit  
  5. else  
  6.     if [ -z $1 ] ; then  
  7.         echo " hbase_path is null!!!"  
  8.         exit  
  9.     fi  
  10.   
  11.     if [ -z $2 ] ; then  
  12.         echo " file_path is null!!!"  
  13.         exit  
  14.     fi  
  15.     cd $1  
  16.     ./hbase shell< $2  
  17. fi  
  18. ~                  
复制代码






  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值