下午接到用户的电话,告知他们的远程访问系统启动失败,重启服务器还是不能正常访问。开始的解决思路重要集中在tomcate上,通过查看日志,提示是连接数据库的问题。
通过netstat -aux|grep 3306没有看到服务正常监听,通过查看MySQL 系统日志,
130201 2:09:47 [ERROR] /usr/libexec/mysqld: Disk is full writing './mysqld-bin.
000004' (Errcode: 28). Waiting for someone to free space... Retry in 60 secs
130201 2:19:47 [ERROR] /usr/libexec/mysqld: Disk is full writing './mysqld-bin.
000004' (Errcode: 28). Waiting for someone to free space... Retry in 60 secs
130201 2:29:47 [ERROR] /usr/libexec/mysqld: Disk is full writing './mysqld-bin.
看到是磁盘空间满了,通过df发现/dev/sda5的利用率已经100%。很奇怪,我们的应用数据的增长是很慢的,而且各个表都不是很大,最近通过find / -size +20000k,发现系统日志占用磁盘空间很,主要是messages、messages.1、bandwidth、btmp,都是几个GB的空间,通过释放这些空间,将磁盘的利用率降低在26%。
重启系统正常。