问题:
服务器安装后两天,发现磁盘空间使用满了【date: write error: No space left on device】
![](https://i-blog.csdnimg.cn/blog_migrate/2a0b8d26287631453091eb7d5b63dfef.png)
问题排查:
1、使用df -hl命令查看
![](https://i-blog.csdnimg.cn/blog_migrate/a2aadceea66e974c40e93012dde45fbc.png)
2、使用du -hl --max-depth=1,从根目录开始查起,最后发现,磁盘的空间全部被
/var/lib/docker/overlay2 目录使用完了(docker的服务使用目录)。
通过对比正常环境的相同目录,发现和问题环境中的查询大小没有什么区别,因此考虑是不是空间释放的问题。
lsof|grep deleted 命令进行查看,发现有很多python代码的相关记录,如下图红框中:
![](https://i-blog.csdnimg.cn/blog_migrate/6dce076eea541f96df041a94ac4f7c30.png)
统计了下条数,有二十多万条
![](https://i-blog.csdnimg.cn/blog_migrate/efd489820cc0d27c0276a7fa3a386fe4.png)
3、使用kill -9 7560 杀掉对应的进程,再查看下系统盘的空间,显示正常了
![](https://i-blog.csdnimg.cn/blog_migrate/bd4e52991b4864440b0a59efd6529aef.png)
查看Log/common.log日志,发现里面连接redis服务失败,一直在重连(每秒钟很多次)
解决方法:
修改了模块中的代码 处理方法,在尝试重连间隔中休眠几秒,最后验证问题解决。