问题描述
Connection reset by peer
es服务时不时会出现以上报错,经过一段时间排查,最终确定了报错原因
问题分析
1、TCP Keepalive: TCP Keepalive 是一种用于检测死连接(即那些已经没有数据传输但仍然在连接状态中的连接)的机制。服务器和客户端可以通过发送探测包来检查对方是否仍然响应。在您的场景中,服务器的 TCP Keepalive 时间设置为 7200 秒(即2小时),这意味着服务器会在这个时间间隔后才开始发送 Keepalive 探测包。
2、IPVS TCP表项超时: IPVS 是 Linux 下的一个强大的基于内核的虚拟服务器,用于实现负载均衡。在 IPVS 中,TCP 表项的超时时间被设置为 900 秒(即15分钟)。这意味着如果在一个 TCP 连接中,在 900 秒内没有任何数据交换,IPVS 可能会认为这个连接是空闲的,并可能从其表项中删除该连接的信息。
当 TCP Keepalive 探测包(在2小时后发送)到达一个已经被 IPVS 删除或标记为不再活跃的连接时,会导致“Connection reset by peer”错误,因为服务器端已经认为连接仍然有效,而实际上在负载均衡器层面该连接已经被断开或标记为不再活跃。
解决方案
方法一
调整 TCP Keepalive 时间
可以将tcp keepalive时间调短一些,确保在ipvs超时时间之内能够发送keep alive探测包
临时修改
sudo sysctl -w net.ipv4.tcp_keepalive_time=600
永久修改
在/etc/sysctl.conf路径下加入以下参数
net.ipv4.tcp_keepalive_time=600
方法二 调整 IPVS TCP 表项超时: 如果可能的话,尝试调整 IPVS 的 TCP 超时设置以匹配或超过 TCP Keepalive 时间。但请注意,这可能需要修改 IPVS 的配置,这取决于您的具体环境和配置方式。
方法三 应用层心跳: 除了 TCP Keepalive 之外,您还可以考虑在应用层实现心跳机制,以更频繁地检查连接的活跃状态。这通常通过在客户端和服务器之间定期发送小的数据包来实现。