记一次hbase的TTL功能不生效问题

最近接手了一个的hbase和hadoop的小集群,被告知hbase有TTL不生效的问题(磁盘未释放),做个记录

hbase版本1.2.7

hdfs版本2.7.5

问题描述:

hbase中所有的表都配置了TTL,然而hdfs使用量依然不断增加,直至磁盘打满,datanode全挂。

解决过程:

1、在我负责接手这部分服务后,了解到之前伙伴的处理方式简直简单粗暴,每次出现问题,直接rm -rf datanode数据目录下的 BP-XXXXX目录。。。终于知道hdfs为什么会有9000+个corrupt block了。

2、二话不说,先fsck,清理掉这些坏块。另外看到namenode ui还有这么个东西

1月3日开始的一个Rolling upgrade。。。现在已经是6月份了,本着既然正常用着就不随便变更的原则,对于Rolling upgrade咱们经验也不丰富,暂时先不管。

3、从hbase原理上来看看待TTL这个问题,hbase的TTL本质是先对数据打一个墓碑标记,真正删除的时候是在major compaction的时候生效(有那么点类似于JVM复制算法);另外一个是MIN_VERSION要为0,否则无论如何TTL都不会生效。

了解当前hbase的情况,使用默认配置7天一次major compaction,但是当前场景是数据4天会写满集群,数据保存1天就够用,那么正常来说集群空间使用应该不超过50%。所以major co

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值