linux根目录没有空间,Linux根目录空间不足

一、问题背景

一台数据库服务器，突然监控告警，报根目录空间不足，于是登录机器初步查看

df -hl

发现根目录确实满了。

那么肯定有大文件存在，于是使用du命令查看各个目录的大小(只显示一层目录)

du -h --max-depth=1 /

但是却并没有发现某个目录下有特大的文件存在。おかしいね。。。

灵机一动，是否有文件已被删除，但是引用该文件的进程仍然活动，导致文件所占磁盘没有被释放。

lsof | grep deleted

结果中仍然没有发现有大文件。もっとおかしいね。。。(╯﹏╰)

二、问题原因

在上述调查背景下，进一步思考，在此之前做过什么操作，可能造成了一些预期之外的后果

此时，回忆起，我曾经重新mount过数据盘

但是数据盘是独立的磁盘，照理说是不会占用根目录所在的系统盘空间的

于是请教了前辈，得知：

如果mount目录下原来是有文件存在的，那么该目录被mount之后这些文件就会被隐藏，不属于该文件系统，使用du命令是看不到的

然后就是验证

umount /data

cd /data

ls -l

果然，发现data目录下有一个3.5G的备份文件，这个文件把根目录磁盘占满了

问题原因找到了，应该是之前拷贝文件时，data盘没有被mount，拷贝动作就将文件拷贝到了根目录，而重新mount数据盘之前没有检查该目录是否为空，导致了后来的根目录磁盘空间不足。

三、总结

如果mount目录下原来是有文件存在的，那么该目录被mount之后这些文件就会被隐藏，不属于该文件系统，使用du命令是看不到

在实际生产环境中，mount之前需要确认目录是否为空