【此文抄自同事的邮件,当作笔记学习】
环境描述
Mysql 5.5.21
OS centos 5.8
zabbix agent 2.4.3
情况描述
现象数据库处于运行状态,但是无法创建新的连接,监控报警数据库无法连接,连接不上MySQL,一直处于等待状态。
Mysql的error日志报错:
[ERROR] /usr/sbin/mysqld: Can't find file: './wukong_customs/wukong_task_info.frm' (errno: 23)
[ERROR] Error in accept: Too many open files in system
Mysqld进程打开的文件句柄数:
lsof(list open files)是一个列出当前系统打开文件的工具。
[root@db11149 ~]# lsof -p 24504 | wc -l
4805
没有超过MySQL设置的限值。
查看操作系统的日志:
localhost kernel: VFS: file-max limit 65536 reached
localhostnrpe[6665]: Network server accept failure (23: Too many open files in system)
日志显示操作系统的连接数已经达到了最大值65535了,但是服务器上运行的业务应用只有数据库服务,而mysql打开的文件句柄数不到5000个。因此推断是有哪个正在运行的服务打开的句柄数过多导致的。
显示shell中的资源限制:
ulimit命令修改的数值只