java 写文件 异常 磁盘空间满_系统磁盘空间满的一个问题

我们的集成环境如果磁盘空间满，一般情况下可以通过删除log或者多余的文件来解决，但有时候，这种方法是无法解决的。以上次碰到情况为例：

服务器10.2.5.4磁盘空间满，致使某核心无法正常运行。于是登陆核查，如下：

# df -h

文件系统              容量  已用 可用 已用% 挂载点

/dev/sda2 9.7G 7.0G 2.3G 76% /

/dev/sda1 251M 19M 219M 8% /boot

/dev/sda5 54G 24G 28G 100% /home

none 1004M 0 1004M 0% /dev/shm

ccvob.alipay.net:/ccvob1

133G 68G 59G 54% /ccvob1

10.2.4.98:/home/nfsshare

225G 145G 69G 68% /share/upload

进入/home目录使用du查看/home下的磁盘使用率

# cd /home

# du -sh *

3.1M admin

1.3G ctu

1.2G godzilla

76K log

40K nagios

609M paygw

784M smsgw

20G trade

24K ukulele

发现目录home目录下的子目录所有文件大小加起来远远少于54G，可是却提示home已经100%占用。这种干扰du查看磁盘空间使用率的问题，一般是下面两种情况造成的：

1、用户删除了文件，这些删除的文件使用du无法查看，但系统仍然有进程在写被删除的文件。

2、磁盘分区的某一个目录挂载了另外一个分区时，du查看到的磁盘空间为挂载分区后的目录空间。

由于home目录未挂载另一分区，所以应该是用户删除系统的日志文件，而系统java进程没被停掉这一情况造成的。

解决方法：

1、查找被删除文件

被删除文件，在写程序未退出的情况下，被删除文件同样会占用磁盘空间。

# lsof -n | head -1

COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME

# lsof -n /home | grep deleted

由上面可以看出，这些log已经被删除，但是java进程依然在写这些log。

2、杀掉写文件的java进程，磁盘空间会自然释放

#pkill -9 19543

# df

文件系统               1K-块        已用     可用 已用% 挂载点

/dev/sda2 10080520 7257740 2310712 76% /

/dev/sda1 256667 19223 224192 8% /boot

/dev/sda5 56087900 25093392 28145384 45% /home

总结：由于我们经常在没有停掉系统的时候就直接删除log，而有时候系统的java进程在重新启动的时候并没有停掉，依然在系统中运行并不停的在写已经被删除的日志文件，多次累积过后，就会造成磁盘空间变满。所以，建议每次删除系统log前，请执行下#killall java 先将该用户下的系统停掉