记一次Mysql连接失败的处理过程

报错内容：

SQL Error: 0, SQLState: 08S01
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.

第一步：

按照常规解法增加mysql的数据库连接数和超时时间（临时）：

SET GLOBAL max_connections = 1000;
SET GLOBAL wait_timeout=2073600;

另：timeout设置未生效，后来改成直接再my.cnf中直接修改。

添加Mysql配置后，未解决问题。

第二步：

继续分析发下如下的报错内容：

Caused by: java.net.NoRouteToHostException: Cannot assign requested address (Address not available)

以为是网络问题，所以使用telnet命令测试端口，172.100.1.104是mysql服务器：

watch -n 3 telnet 172.100.1.104 3306

结果发现，除了第一次成功，其他均失败。出现控制台报错：

Connection closed by foreign host.

随即使用如上命令测试22和6379等常用端口，均出现同样问题，以为是网络出现问题。但是通过分析发现只有第一次成功的问题，通过检查相关内容，有如下结论：

当你使用 watch -n 3 telnet 172.100.1.10422命令时，每次执行telnet都会尝试建立一个新的连接到localhost的22端口（默认是SSH服务端口）。第一次成功是因为建立了连接，但随后立即断开，之后再尝试时由于SSH服务通常只维持一个连接，所以你会看到 "connection closed by foreign host" 的消息。

这是因为telnet命令默认行为是在建立连接后进入交互模式，等待用户输入。当watch命令在3秒后再次执行telnet时，前一个telnet会话还未结束就被新的telnet命令中断，导致原来的连接被服务端关闭。

发现是自己使用的方式不对，如果目的只是定期检查3306端口是否开放，而不是持续交互，可以改用更合适的命令，比如使用nc（netcat）或者编写一个简单的脚本来非交互式地检查端口：

watch -n 3 'nc -zv 172.100.1.104 3306 && echo "Port 3306 is open." || echo "Port 3306 is closed."'

然后使用内网的两台应用服务器 172.100.1.107 和  172.100.1.108 分别使用如上命令进行测试，发现107上没有问题，108上出现控制台错误：

Cannot assign requested address

随记将问题聚焦在108机器上。

第三步：

通过网络检索相关错误找到如下博客内容：‘

对于高并发短连接造成Cannot assign requested address解决方法-CSDN博客

https://www.cnblogs.com/dadonggg/p/8778318.html

使用命令检查time_out数量：

netstat -ant|awk '/^tcp/ {++S[$NF]} END {for(a in S) print (a,S[a])}'

发现TIME_OUT出现了1万以上的连接，所以问题基本上就出现在这里，按照上面的博客修改/etc/sysctl.conf文件，添加如下内容：

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 10240 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000

sysctl -p生效，注意需要在108和104（mysql）上都配置这些参数。

然后观察系统状况，之后恢复正常！！！