背景
最近项目开始集成测试,测试同学会不停打入数据测试稳定性
所以问题就这么出现了
现象以及分析
项目启动报错
Caused by: java.net.UnknownHostException: xxxxmysql
at java.net.InetAddress.getAllByName0(InetAddress.java:1281)
at java.net.InetAddress.getAllByName(InetAddress.java:1193)
at java.net.InetAddress.getAllByName(InetAddress.java:1127)
at com.mysql.cj.protocol.StandardSocketFactory.connect(StandardSocketFactory.java:132)
at com.mysql.cj.protocol.a.NativeSocketConnection.connect(NativeSocketConnection.java:63)
… 14 common frames omitted
Caused by: java.net.SocketException: Too many open files
at java.net.Socket.createImpl(Socket.java:478)
at java.net.Socket.getImpl(Socket.java:538)
at java.net.Socket.setTcpNoDelay(Socket.java:998)
at com.mysql.cj.protocol.StandardSocketFactory.configureSocket(StandardSocketFactory.java:94)
at com.mysql.cj.protocol.StandardSocketFactory.connect(StandardSocketFactory.java:147)
at com.mysql.cj.protocol.a.NativeSocketConnection.connect(NativeSocketConnection.java:63)
两部分报错
第一部分 说不识别配置的host 这个一直没动过,hosts文件是有配置的
第二部分 重点来了 说打开的文件过多,报的socket错误,在创建socket时报了错,看上下文异常信息,应该是mysql驱动在连接数据库的时候报错了,不能打开太多连接咯?
解决过程
首先查看 tcp 连接信息 netstat
发现了大量TIME_WAIT状态的连接 正常肯定不是这样的
有一个奇怪的应用程序 总也调用名为xxxserv的服务 而且状态都是TIME_WAIT
查看相关同事代码 发现 有用HttpClient 调用这个服务 而且.没有连接池,没有用完关闭,一次一个新连接还有一个查询方法 netstat -ant|awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print (a,S[a])}’
LISTEN 28
CLOSE_WAIT 15
ESTABLISHED 45
TIME_WAIT 110
这里会看到 每种状态的连接数量
解决方案:
在tomcat 启动脚本tomcat/bin/catalina.sh 前添加ulimit 如下:
#!/bin/sh
ulimit -n 19660
当然相关同事代码也是需要更改的 只不过 在tomcat设置后 更加保险