问题描述
正在使用的文件管理服务突然不能使用,上传失败,下载成功,服务日志不能看到任何有用信息。
排查情况
- 查看nginx错误日志,发现服务器空间已满,通过 df -h 查看,占用100%。
- 通过 du -sh * 查看,发现服务器中某个服务日志占用异常大,进一步发现该服务出现异常,一直在打印错误日志。
- 删除该服务下打印的无效日志。
- df -h 发现占用还是100%,但是du -sh * 查看服务器下空间占用不大
5.使用 /usr/sbin/lsof|grep deleted 或 lsof -n | grep deleted,发现很多删除的文件被占用
6.删除对应的进程,kill -9 pid
原因分析
在Linux或者Unix系统中,当我们使用rm或者文件管理器删除文件,将会从文件系统的目录结构上解除链接(unlink),但是如果有进程打开了这个大文件,却没有关闭这个文件的句柄,那么linux内核还是不会释放这个文件的磁盘空间,进程将仍然可以读取该文件,磁盘空间也一直被占用,最后造成磁盘空间占用100%,整个系统无法正常运行。这种情况下,通过df和du命令查找的磁盘空间,两者是无法匹配的,可能df显示磁盘100%,而du查找目录的磁盘容量占用却很小。
遇到这种情况,基本可以断定是某些大文件被某些程序占用了