MySQL 被ulimit 所困

开始：晚上十点被报警惊醒（幸好还没睡觉），报警内容:xxxxxxxxxxxxx“MySQL IS Down”；MySQL 没有任何预兆的就死啦。

勘察现场：->查看下MySQL进程---存在

->系统load，cpu，io 均很正常

->（个人觉得zabbix 不会误报）

->登录MySQL提示：ERROR 1135 (HY000): Can’t create a new thread (errno 11)

->perror 11 显示：

OS error code 11: Resource temporarily unavailable

->第一反应是 文件句柄不够用，查看文件句柄使用情况：

lsof -n | awk '{print $2}' | sort | uniq -c | grep 'pid of mysql'

-------一切正常；

ulimit -a 

显示所有的结果：

max process 为 1024；--基本可以肯定问题就出在这里，某个程序发起了过多的连接，现在可以考虑坐下限制（简单粗暴的方法是 设置ulimit -u 102400,然后再重启MySQL--）：

----> 查看3306 连接数：

1	netstat  -ano |  grep  ip:3306 |  awk  '{print $5}'  |  awk  -F  ':'  '{print $1}'  |  sort  |  uniq  -c

可以考虑使用iptables 限制最大连接数来处理：

1	iptables -A INPUT -p tcp -m tcp --dport 3306 --tcp-flags FIN,SYN,RST,ACK SYN -m connlimit --connlimit-above 200 --connlimit-mask 32 -j REJECT --reject-with tcp-reset

每个ip并发连接不超过200个

明天可以让程序查代码啦！

故障反思：

其中漏掉的一点是：查看系统限制:/etc/security/limits.conf 中 

max process = 65535

但ulimit -a 的时候显示的是 1024

1	su  mysql  bash  -c   "ulimit -a"

这不科学的：

后经过google 大神的指点：参考http://dbahacker.com/linux/redhat5-%E5%92%8Credhat6-root%E7%94%A8%E6%88%B7%E4%B8%8D%E5%90%8C%E7%9A%84ulimits

发现在centos 6.x中，添加了一个新的文件：/etc/security/limits.d/90-nproc.conf ，只有 noproc是已这个文件为准；

总结为：在centos5里面，只要在/etc/security/limits.conf 设置好久可以啦，在Centos6里面除了上面提到的limits.conf 配置文件，还要设置好/etc/security/limits.d/90-nproc.conf

方法二：找到一个可以不重启MySQL就可以在线修改noproc的方式！

从Linux 2.6.32开始可以使用echo -n "Max processes=204800:204800" > /proc/`pidof mysqld`/limits 来动态修改进程的系统资源limits信息，不用再因为修改这个而去重启实例，亲测可用!

关于更多ulimit 的实例，可以参考@淘宝褚霸的文章：

http://blog.yufeng.info/archives/2311

http://blog.yufeng.info/archives/2568

本文转自 位鹏飞 51CTO博客，原文链接：http://blog.51cto.com/weipengfei/1301858，如需转载请自行联系原作者