- SpringBoot
2.1.4.RELEASE
- SpringCloud
Greenwich.SR2
- Gateaway框架:SpringCloud Gateway
服务模型
各个主机间通过 主机名称 进行相互访问,并在在每台主机上配置其他主机的主机名对应的IP。
服务有三台服务主机构成:
- 主机1:运行了网关服务,通过网关服务访问其他服务。
- 主机2:运行了一个文件上传处理的耗时服务。
- 测试发起主机:发起大量并发测试请求。
错误描述
在触发该问题之前先是出现了,Too many open files 的错误
Caused by: io.netty.channel.ChannelException: io.netty.channel.unix.Errors$NativeIoException: newSocketStream(..) failed: Too many open files
at io.netty.channel.unix.Socket.newSocketStream0(Socket.java:439) ~[netty-transport-native-unix-common-4.1.34.Final.jar!/:4.1.34.Final]
at io.netty.channel.epoll.LinuxSocket.newSocketStream(LinuxSocket.java:184) ~[netty-transport-native-epoll-4.1.34.Final-linux-x86_64.jar!/:4.1.34.Final]
at io.netty.channel.epoll.EpollSocketChannel.<init>(EpollSocketChannel.java:45) ~[netty-transport-native-epoll-4.1.34.Final-linux-x86_64.jar!/:4.1.34.Final]
... 109 common frames omitted
Caused by: io.netty.channel.unix.Errors$NativeIoException: newSocketStream(..) failed: Too many open files
at io.netty.channel.unix.Errors.newIOException(Errors.java:122) ~[netty-transport-native-unix-common-4.1.34.Final.jar!/:4.1.34.Final]
... 112 common frames omitted
在压力持续保持的情况下,错误变更为:
2021-04-12 12:02:25.746 ERROR [gateway-mock,60555a50e007872e,60555a50e007872e,true] 13391 --- [or-http-epoll-6] a.w.r.e.AbstractErrorWebExceptionHandler : [01fd016c] 500 Server Error for HTTP POST "/mock/"
java.net.UnknownHostException: kkk
at java.net.InetAddress.getAllByName0(InetAddress.java:1281) ~[na:1.8.0_275]
at java.net.InetAddress.getAllByName(InetAddress.java:1193) ~[na:1.8.0_275]
at java.net.InetAddress.getAllByName(InetAddress.java:1127) ~[na:1.8.0_275]
at java.net.InetAddress.getByName(InetAddress.java:1077) ~[na:1.8.0_275]
at io.netty.util.internal.SocketUtils$8.run(SocketUtils.java:146) ~[netty-common-4.1.34.Final.jar!/:4.1.34.Final]
at io.netty.util.internal.SocketUtils$8.run(SocketUtils.java:143) ~[netty-common-4.1.34.Final.jar!/:4.1.34.Final]
at java.security.AccessController.doPrivileged(Native Method) ~[na:1.8.0_275]
at io.netty.util.internal.SocketUtils.addressByName(SocketUtils.java:143) ~[netty-common-4.1.34.Final.jar!/:4.1.34.Final]
at io.netty.resolver.DefaultNameResolver.doResolve(DefaultNameResolver.java:43) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
at io.netty.resolver.SimpleNameResolver.resolve(SimpleNameResolver.java:63) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
at io.netty.resolver.SimpleNameResolver.resolve(SimpleNameResolver.java:55) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
at io.netty.resolver.InetSocketAddressResolver.doResolve(InetSocketAddressResolver.java:57) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
at io.netty.resolver.InetSocketAddressResolver.doResolve(InetSocketAddressResolver.java:32) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
....
原因
linux每建立一个TCP连接都需要打开一个文件句柄,使用这个文件句柄来代表连接。
由于linux系统文件打开数量是有上限的,在压测过程中由于服务处理能力较弱,而测试主机发起速度比较快(消费者速度 > 生产者速度),导致大量连接没有处理完成。
因此存在了大量的打开状态的文件句柄。
由 域名 到解析到IP这个过程中很有可能需要发生文件读取,在到达上限打开文件上限之后,因为没有
可以打开的文件,所以出现 java.net.UnknownHostException
异常。
我们可以通过命令查看当前主机的文件打开数量:
ulimit -a
open files
也就是文件打开数量。
当然我们可以通过手动调大打开数的方式在一定程度解决该问题:
sudo ulimit -n 65535
注意在修改了参数之后一定要重启java
程序使配置生效。
上面的配置在服务器重启之后就会失效,需要重启也生效,需要调整配置/etc/security/limits.conf
文件。
向文件/etc/security/limits.conf
中追加下面内容
sudo echo "* soft nofile 65535" >> /etc/security/limits.conf
sudo echo "* hard nofile 65535" >> /etc/security/limits.conf
- 表示所用的用户
分析
该问题实际上是处理能力不足造成,加大文件打开数量只是缓解了该问题出现的时间,随着压力的持续增加,仍然还是会出现该问题,因此最好的办法是了解生产环境中的压力情况,看看是不是采用用一些消峰或者优化代码的方式解决。
但是最简单的和有效的解决办法任然还是修改文件打开的上限。
我个人认为最好的办法应该是增加机器,负载均衡,把压力负载开,那么每台主机上都能够保持比较健康的文件打开数量。