一、异常问题描述
当HTTP接口访问的并发量比较大时,操作数据库(例如MySQL)的接口会无法连接到数据库,并提示如下错误,可以使用jemter或wrk工具复现:
(1)PHP接口场景下:
Uncaught PDOException: SQLSTATE[HY000] [2002] Cannot assign requested address
(2)Java接口场景下:
java.net.NoRouteToHostException: Cannot assign requested address.
二、模拟高并发调用接口的测试工具
(1)jmeter工具:https://github.com/apache/jmeter
(2)wrk工具:https://github.com/wg/wrk
三、问题分析
经网上查资料, 是由于linux分配的客户端连接端口用尽, 无法建立socket连接所致,虽然socket正常关闭,但是端口不是立即释放, 而是处于TIME_WAIT状态, 默认等待60s后才释放。
查看linux支持的客户端连接端口范围, 也就是28232个端口:
cat /proc/sys/net/ipv4/ip_local_port_range
32768 - 61000
四、问题处理
1. 调低端口释放后的等待时间, 默认为60s, 修改为15~30s
echo 30 > /proc/sys/net/ipv4/tcp_fin_timeout
2. 修改tcp/ip协议配置, 通过配置/proc/sys/net/ipv4/tcp_tw_resue, 默认为0, 修改为1, 释放TIME_WAIT端口给新连接使用。
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse
3. 修改tcp/ip协议配置,快速回收socket资源, 默认为0, 修改为1.
echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
按照上述方法测试,问题得以解决!