SpringCloud Gateway UnknownHostException 问题

• SpringBoot 2.1.4.RELEASE
• SpringCloud Greenwich.SR2
• Gateaway框架：SpringCloud Gateway

服务模型

各个主机间通过 主机名称 进行相互访问，并在在每台主机上配置其他主机的主机名对应的IP。

服务有三台服务主机构成：

• 主机1：运行了网关服务，通过网关服务访问其他服务。
• 主机2：运行了一个文件上传处理的耗时服务。
• 测试发起主机：发起大量并发测试请求。

错误描述

在触发该问题之前先是出现了，Too many open files 的错误

Caused by: io.netty.channel.ChannelException: io.netty.channel.unix.Errors$NativeIoException: newSocketStream(..) failed: Too many open files
	at io.netty.channel.unix.Socket.newSocketStream0(Socket.java:439) ~[netty-transport-native-unix-common-4.1.34.Final.jar!/:4.1.34.Final]
	at io.netty.channel.epoll.LinuxSocket.newSocketStream(LinuxSocket.java:184) ~[netty-transport-native-epoll-4.1.34.Final-linux-x86_64.jar!/:4.1.34.Final]
	at io.netty.channel.epoll.EpollSocketChannel.<init>(EpollSocketChannel.java:45) ~[netty-transport-native-epoll-4.1.34.Final-linux-x86_64.jar!/:4.1.34.Final]
	... 109 common frames omitted
Caused by: io.netty.channel.unix.Errors$NativeIoException: newSocketStream(..) failed: Too many open files
	at io.netty.channel.unix.Errors.newIOException(Errors.java:122) ~[netty-transport-native-unix-common-4.1.34.Final.jar!/:4.1.34.Final]
	... 112 common frames omitted

在压力持续保持的情况下，错误变更为：

2021-04-12 12:02:25.746 ERROR [gateway-mock,60555a50e007872e,60555a50e007872e,true] 13391 --- [or-http-epoll-6] a.w.r.e.AbstractErrorWebExceptionHandler : [01fd016c] 500 Server Error for HTTP POST "/mock/"

java.net.UnknownHostException: kkk
	at java.net.InetAddress.getAllByName0(InetAddress.java:1281) ~[na:1.8.0_275]
	at java.net.InetAddress.getAllByName(InetAddress.java:1193) ~[na:1.8.0_275]
	at java.net.InetAddress.getAllByName(InetAddress.java:1127) ~[na:1.8.0_275]
	at java.net.InetAddress.getByName(InetAddress.java:1077) ~[na:1.8.0_275]
	at io.netty.util.internal.SocketUtils$8.run(SocketUtils.java:146) ~[netty-common-4.1.34.Final.jar!/:4.1.34.Final]
	at io.netty.util.internal.SocketUtils$8.run(SocketUtils.java:143) ~[netty-common-4.1.34.Final.jar!/:4.1.34.Final]
	at java.security.AccessController.doPrivileged(Native Method) ~[na:1.8.0_275]
	at io.netty.util.internal.SocketUtils.addressByName(SocketUtils.java:143) ~[netty-common-4.1.34.Final.jar!/:4.1.34.Final]
	at io.netty.resolver.DefaultNameResolver.doResolve(DefaultNameResolver.java:43) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
	at io.netty.resolver.SimpleNameResolver.resolve(SimpleNameResolver.java:63) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
	at io.netty.resolver.SimpleNameResolver.resolve(SimpleNameResolver.java:55) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
	at io.netty.resolver.InetSocketAddressResolver.doResolve(InetSocketAddressResolver.java:57) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
	at io.netty.resolver.InetSocketAddressResolver.doResolve(InetSocketAddressResolver.java:32) ~[netty-resolver-4.1.34.Final.jar!/:4.1.34.Final]
	....

原因

linux每建立一个TCP连接都需要打开一个文件句柄，使用这个文件句柄来代表连接。

由于linux系统文件打开数量是有上限的，在压测过程中由于服务处理能力较弱，而测试主机发起速度比较快（消费者速度 > 生产者速度），导致大量连接没有处理完成。

因此存在了大量的打开状态的文件句柄。

由 域名 到解析到IP这个过程中很有可能需要发生文件读取，在到达上限打开文件上限之后，因为没有
可以打开的文件，所以出现 java.net.UnknownHostException 异常。

我们可以通过命令查看当前主机的文件打开数量：

ulimit -a

open files 也就是文件打开数量。

当然我们可以通过手动调大打开数的方式在一定程度解决该问题：

sudo ulimit -n 65535

注意在修改了参数之后一定要重启java程序使配置生效。

上面的配置在服务器重启之后就会失效，需要重启也生效，需要调整配置/etc/security/limits.conf文件。

向文件/etc/security/limits.conf中追加下面内容

sudo echo "* soft nofile 65535"  >> /etc/security/limits.conf
sudo echo "* hard nofile 65535"  >> /etc/security/limits.conf

• 表示所用的用户

分析

该问题实际上是处理能力不足造成，加大文件打开数量只是缓解了该问题出现的时间，随着压力的持续增加，仍然还是会出现该问题，因此最好的办法是了解生产环境中的压力情况，看看是不是采用用一些消峰或者优化代码的方式解决。

但是最简单的和有效的解决办法任然还是修改文件打开的上限。

我个人认为最好的办法应该是增加机器，负载均衡，把压力负载开，那么每台主机上都能够保持比较健康的文件打开数量。

参考文献

1. 博客园 . Linux最大文件打开数 . UnixFBI 运维特工 . 2016.8 . https://www.cnblogs.com/pangguoping/p/5791432.html