记一次服务器空间满，删除文件后使用情况还是100%的问题

问题描述

正在使用的文件管理服务突然不能使用，上传失败，下载成功，服务日志不能看到任何有用信息。

排查情况

1. 查看nginx错误日志，发现服务器空间已满，通过 df -h 查看，占用100%。
2. 通过 du -sh * 查看，发现服务器中某个服务日志占用异常大，进一步发现该服务出现异常，一直在打印错误日志。
3. 删除该服务下打印的无效日志。
4. df -h 发现占用还是100%，但是du -sh * 查看服务器下空间占用不大
   5.使用 /usr/sbin/lsof|grep deleted 或 lsof -n | grep deleted，发现很多删除的文件被占用
   6.删除对应的进程，kill -9 pid

原因分析

在Linux或者Unix系统中，当我们使用rm或者文件管理器删除文件，将会从文件系统的目录结构上解除链接(unlink)，但是如果有进程打开了这个大文件，却没有关闭这个文件的句柄，那么linux内核还是不会释放这个文件的磁盘空间，进程将仍然可以读取该文件，磁盘空间也一直被占用，最后造成磁盘空间占用100%，整个系统无法正常运行。这种情况下，通过df和du命令查找的磁盘空间，两者是无法匹配的，可能df显示磁盘100%，而du查找目录的磁盘容量占用却很小。

遇到这种情况，基本可以断定是某些大文件被某些程序占用了࿰