记一次Linux 磁盘空间不足

问题现象

服务器无法使用tab快捷键，提示磁盘空间不足(no space left on device)。
df -h 查看磁盘空间占用率100%

问题分析

1. 首先使用 sudo du / -h --max-depth=1 命令查看各个目录的占用空间，试图找到占用较多空间的目录

TEST@test:/$ sudo du / -h --max-depth=1
4.0K    /srv
0       /dev
4.0K    /mnt
8.0K    /snap
17M     /root
0       /sys
30G     /var
1.2G    /lib
26G     /data
5.5G    /opt
4.0K    /lib64
1.4M    /run
5.4G    /home
3.9M    /tmp
15M     /bin
4.0K    /cdrom
4.0K    /media
0       /proc
18M     /sbin
2.7G    /usr
16K     /lost+found
218M    /boot
7.2M    /etc
75G     /

从结果看，并未存在占用大空间文件夹，帮继续排查。
2. 查看 inode 的使用率，怀疑 inode 不够导致此问题

TEST@test:/$ df -i
Filesystem                          Inodes   IUsed    IFree IUse% Mounted on
udev                               2045094     478  2044616    1% /dev
tmpfs                              2053123     794  2052329    1% /run
/dev/mapper/ubuntu--vg-ubuntu--lv 32702464 1258976 31443488    4% /
tmpfs                              2053123       1  2053122    1% /dev/shm
tmpfs                              2053123       4  2053119    1% /run/lock
tmpfs                              2053123      18  2053105    1% /sys/fs/cgroup
/dev/vda2                            65536     313    65223    1% /boot
tmpfs                              2053123      11  2053112    1% /run/user/1000
tmpfs                              2053123      11  2053112    1% /run/user/999

通过 df -i 命令查看后发现 inode 使用率也正常的，只能进一步分析。

3. 使用 lsof 检查，怀疑是不是有可能文件已被删除，但是进程还存活的场景

TEST@test:/$ sudo