部署的hbase为:v2.1.3
部署方式:docker
产生的原因,发现日志有报错也会导致这里文件大涨(目前观察这个原因,处理完后,观察了这个文件增长速度并不快,没处理之前一分钟一GB的增长)
处理过程:HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件,如果有就放弃清理,如果没有就清理对应的hlog。在手动清理oldWALs目录数据的同时,如果没有删除对应的znode数据,就会导致HMaster不会自动清理oldWALs。
这里参考了原文链接:https://blog.csdn.net/Sampson_Hugo/article/details/104497156
了解链接:https://www.modb.pro/db/57372
详细的可以看下这个
最终解决方案:先参考上面连接检查hbase有没有在做复制,没有的话,停止hbase,使用rm -rf 文件名删除文件,如果占用磁盘过多时,直接执行rm -rf 可能删除不了
可使用{find . -name '文件名’ -print0 | xargs -0 rm -rf}
#注意删除文件名后面还有※号的,,太小了,目的删除oldWALs目录下所有文件
##上面连接说加的配置,配置了看着没生效,待观察中
问题二
在处理上面问题之前,docker logs hbase查看日志时发现
hbase查看日志有这个异常,2023-10-16T08:29:24.991692300Z Caused by: org.apache.hadoop.hbase.io.hfile.CorruptHFileException: Problem reading HFile Trailer from file file:/hbase-data/data/default/user_station/1a6697bda1074998d5bebf5236af1412/station/0f3a9be063f44f61afa1f595266322e6
解决方案:在机器上把这个文件mv挪走,或者删除掉,看网上的说法就是这个文件损坏了,尝试了修复操作,不成功,这个办法执行后,查看日志不报错了
这个问题报错后会导致oldWALs目录数据也猛涨