记录一次线上存储爆满导致程序停机错误

1、现象

df -h发现多节点根目录存储爆满；50G平时剩余40G可用，今天只有1.2G可用

du -sh * 根目录并未发现大的文件夹。

过一会儿之后因为存储爆满，服务宕机。

2、解决思路

（1）怀疑大文件是隐藏文件

（2）百度发现，某些删除的文件依旧存在链接引用，占用实际的存储

3、思路1步骤

通过命令 du -sh .[!.]* 可以查看linux 系统目录下的所有文件，包含隐藏文件的占用大小

结果发现，并没有特别大的文件或者文件夹。

4、思路2步骤

通过命令 lsof | grep deleted 可以查看已经被删除，但是引用还存在的文件。

通过上述命令的执行，结果发现，存在一批约38G，差不多等同于缺失的存储容量的文件。文件指向/var/log/message。询问运维发现，此目录下自动脚本会定时删除，用来统计syslog日志系统。

5、解决方案

最终我们听从运维的方案，重启rsyslog service服务，存储瞬间恢复。

重启命令为：systemctl restart rsyslog