拉手网_php-fpm负载飙升解决实战

最新推荐文章于 2021-03-26 08:27:16 发布

ls_tech

最新推荐文章于 2021-03-26 08:27:16 发布

阅读量3.8k

点赞数 3

分类专栏：疑难杂症文章标签：服务器 wap 数据库服务器

本文链接：https://blog.csdn.net/lashou_tech/article/details/51382351

版权

本文详细记录了2014年拉手网wap服务器遭遇的负载飙升事件，通过排查网络通道、服务器配置、PHP-FPM设置等问题，最终发现是由于`pm.max_requests`配置为0导致的内存泄漏。通过调整PHP-FPM配置，如`pm.max_requests`、`pm.start_servers`等参数，成功解决了问题，确保了服务器稳定运行。

摘要由CSDN通过智能技术生成

2014年10月份拉手网wap服务器(m.lashou.com)发生过一次莫名其妙的服务器负载飙升事件（那时的业务量也比较大），以前大体记录了解决过程，现在再整理下为遇到此种问题的人提供下思路，同时也是对相关知识的巩固。

从10.10下午五点半多wap相关服务器（m.lashou.com）的负载开始飙升，load average甚至超过200，服务器撑一两个小时就宕机。从session数据库服务器来看，连接到其上的最多的就是我(朱霞伟)这边业务的服务器，登录相关服务器free -m查看内存很快被吃尽进而导致服务器宕机(现在已将session数据存入redis)。由于以前也出现过类似情况，加之10号下午连接session数据库的配置文件更改（ip被换，涉及机房迁移，怀疑两个节点间的网络通道有点问题，进而引起了一系列问题），所以运维人员(运维工程师刘桥)第一反应是由此引起的并通知到我（朱）这边。但是我的判断是以前也更改过这种数据库配置文件，并没有引起这种情况，并且如果2个节点之间网络通道有问题的话，从服务器上来看对应该session数据库应该会有很多的timewait，但是根据相关命令查看并不多，截图如下：

因此基本排除这种情况。13年也曾经出现过这样一次情况，会不会跟上次一样是因为服务器的tcp参数配置不够优化引起的呢。Linux系统下，TCP连接断开后会以TIME_WAIT状态保留一定的时间，然后才会释放端口。当并发请求过多的时候，就会产生大量的TIME_WAIT状态的连接，无法及时断开的话会占用大量的端口资源和服务器资源.这个时候我们可以优化TCP的内核参数，来及时将TIME_WAIT状态的端口清理掉。输入下面的组合命令，查看当前TCP连接的状态和对应的连接数量。