docker部署的hbase的数据目录下oldWALs的数据猛涨,占用大-问题处理记录

部署的hbase为:v2.1.3
部署方式:docker

产生的原因,发现日志有报错也会导致这里文件大涨(目前观察这个原因,处理完后,观察了这个文件增长速度并不快,没处理之前一分钟一GB的增长)
处理过程:HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件,如果有就放弃清理,如果没有就清理对应的hlog。在手动清理oldWALs目录数据的同时,如果没有删除对应的znode数据,就会导致HMaster不会自动清理oldWALs。
这里参考了原文链接:https://blog.csdn.net/Sampson_Hugo/article/details/104497156
了解链接:https://www.modb.pro/db/57372
详细的可以看下这个

最终解决方案:先参考上面连接检查hbase有没有在做复制,没有的话,停止hbase,使用rm -rf 文件名删除文件,如果占用磁盘过多时,直接执行rm -rf 可能删除不了
可使用{find . -name '文件名
’ -print0 | xargs -0 rm -rf}
#注意删除文件名后面还有※号的,,太小了,目的删除oldWALs目录下所有文件

##上面连接说加的配置,配置了看着没生效,待观察中

问题二

在处理上面问题之前,docker logs hbase查看日志时发现
hbase查看日志有这个异常,2023-10-16T08:29:24.991692300Z Caused by: org.apache.hadoop.hbase.io.hfile.CorruptHFileException: Problem reading HFile Trailer from file file:/hbase-data/data/default/user_station/1a6697bda1074998d5bebf5236af1412/station/0f3a9be063f44f61afa1f595266322e6

解决方案:在机器上把这个文件mv挪走,或者删除掉,看网上的说法就是这个文件损坏了,尝试了修复操作,不成功,这个办法执行后,查看日志不报错了
这个问题报错后会导致oldWALs目录数据也猛涨

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值