Hbase实战问题（一）：清理Hbase的hdfs上archive目录

最新推荐文章于 2022-12-16 15:18:49 发布

码农_程序员

最新推荐文章于 2022-12-16 15:18:49 发布

阅读量3.9k

点赞数 1

分类专栏： Hbase 文章标签： hbase hdfs 数据库

本文链接：https://blog.csdn.net/congcong68/article/details/122329406

版权

3 篇文章 1 订阅

订阅专栏

本文探讨了服务器磁盘空间满的背景，重点聚焦于HBase中archive目录占用过大问题。通过分析发现，未定期删除历史snapshots导致大量空间浪费。解决方案是执行hbase delete_snapshot操作，释放了大量存储空间。

摘要由CSDN通过智能技术生成

一、背景

服务器的磁盘空间一直报警，查看hdfs已经占用了快满了，这时排查hdfs的各个目录占用空间，发现hbase占用很大

# 查看hdfs根目录各文件夹占用空间
hdfs dfs -du -h /

查看hbase文件下的各个文件夹占用空间
hdfs dfs -du -h /hbase

hdfs dfs -du -h /hbase/archive 占用很大

1、分析

第一步：hdfs dfs -du -h /hbase/archive 占用比hdfs dfs -du -h /hbase/data 多了几T大小

第二步：hdfs dfs -du -h /hbase/data/archive/data/

这个归档目录，哪个表对应的占用比较大，进去文件夹，发现很多snapshots

说明有做 snapshots，没做删除，导致占用很多

2、解决

到hbase 对应的快照删除（delete_snapshot），空间马上降低了，一下减少好几个T，问题就解决了

关注