Connection reset by peer报错解决

问题描述

Connection reset by peer

es服务时不时会出现以上报错，经过一段时间排查，最终确定了报错原因

问题分析
1、TCP Keepalive: TCP Keepalive 是一种用于检测死连接（即那些已经没有数据传输但仍然在连接状态中的连接）的机制。服务器和客户端可以通过发送探测包来检查对方是否仍然响应。在您的场景中，服务器的 TCP Keepalive 时间设置为 7200 秒（即2小时），这意味着服务器会在这个时间间隔后才开始发送 Keepalive 探测包。
2、IPVS TCP表项超时: IPVS 是 Linux 下的一个强大的基于内核的虚拟服务器，用于实现负载均衡。在 IPVS 中，TCP 表项的超时时间被设置为 900 秒（即15分钟）。这意味着如果在一个 TCP 连接中，在 900 秒内没有任何数据交换，IPVS 可能会认为这个连接是空闲的，并可能从其表项中删除该连接的信息。

当 TCP Keepalive 探测包（在2小时后发送）到达一个已经被 IPVS 删除或标记为不再活跃的连接时，会导致“Connection reset by peer”错误，因为服务器端已经认为连接仍然有效，而实际上在负载均衡器层面该连接已经被断开或标记为不再活跃。 

解决方案 

方法一

调整 TCP Keepalive 时间
可以将tcp keepalive时间调短一些，确保在ipvs超时时间之内能够发送keep alive探测包

临时修改
sudo sysctl -w net.ipv4.tcp_keepalive_time=600

永久修改

在/etc/sysctl.conf路径下加入以下参数

net.ipv4.tcp_keepalive_time=600

方法二 调整 IPVS TCP 表项超时: 如果可能的话，尝试调整 IPVS 的 TCP 超时设置以匹配或超过 TCP Keepalive 时间。但请注意，这可能需要修改 IPVS 的配置，这取决于您的具体环境和配置方式。

方法三 应用层心跳: 除了 TCP Keepalive 之外，您还可以考虑在应用层实现心跳机制，以更频繁地检查连接的活跃状态。这通常通过在客户端和服务器之间定期发送小的数据包来实现。