背景情况
继上一次内存不足报警之后,没过几天,钉钉又收到磁盘空间不足,收到报警后,内心的想法是,肯定又是docker改造引发的问题,因为我们这边的日志配置文件有做限制,总大小20G,每个文件大小我100M,显然目前来看有问题
处理过程
收到告警后,登录线上机器,执行相关命令
指令:df -h
可以看到,我们线上磁盘总共80G,其中目前已使用57G,使用空间为72%,随进入我们应用的目录下,查看每个文件夹的大小
指令:du -s -h ./
从上面可以看,我们的output目录占了54G,而output目录主要是放一些配置信息和日志信息,看来问题出在输出日志上,继续进入output目录,查看每个文件的使用大小,继续上面指令du -s -h ./
这里已经屏蔽了一些文件,发现catalina.log文件为33G,这个明显违反我们设置单个文件为100M的规则,catalina.log是tomcat标准输出的文件,而我们应用中使用greylog日志,故不需要此文件了,在项目的启动脚本中输出路径去掉,然后删除该日志文件(这里有个情况就是,删除catalina.log文件后,执行df -h命令后,发现磁盘空间没有减少,没关系,把应用重启就可以了)