拉手网_php-fpm负载飙升解决实战

2014年10月份拉手网wap服务器(m.lashou.com)发生过一次莫名其妙的服务器负载飙升事件（那时的业务量也比较大），以前大体记录了解决过程，现在再整理下为遇到此种问题的人提供下思路，同时也是对相关知识的巩固。

从10.10下午五点半多wap相关服务器（m.lashou.com）的负载开始飙升，load average甚至超过200，服务器撑一两个小时就宕机。从session数据库服务器来看，连接到其上的最多的就是我(朱霞伟)这边业务的服务器，登录相关服务器free -m查看内存很快被吃尽进而导致服务器宕机(现在已将session数据存入redis)。由于以前也出现过类似情况，加之10号下午连接session数据库的配置文件更改（ip被换，涉及机房迁移，怀疑两个节点间的网络通道有点问题，进而引起了一系列问题），所以运维人员(运维工程师刘桥)第一反应是由此引起的并通知到我（朱）这边。但是我的判断是以前也更改过这种数据库配置文件，并没有引起这种情况，并且如果2个节点之间网络通道有问题的话，从服务器上来看对应该session数据库应该会有很多的timewait，但是根据相关命令查看并不多，截图如下：

 

因此基本排除这种情况。13年也曾经出现过这样一次情况，会不会跟上次一样是因为服务器的tcp参数配置不够优化引起的呢。Linux系统下，TCP连接断开后会以TIME_WAIT状态保留一定的时间，然后才会释放端口。当并发请求过多的时候，就会产生大量的TIME_WAIT状态的连接，无法及时断开的话会占用大量的端口资源和服务器资源.这个时候我们可以优化TCP的内核参数，来及时将TIME_WAIT状态的端口清理掉。输入下面的组合命令，查看当前TCP连接的状态和对应的连接数量。

 

我们只关心timewait的连接个数即可，从上图看到timewait个数也不是很多。查看相关配置文件$more /etc/sysctl.conf,确认了下

#表示开启SYN Cookies。当出现