ZooKeeper TCP连接被防火墙阻断排查过程

0x01 现象

本来正常的Zookeeper选举连接，过一段时间会突然异常，重新选举，查看日志提示连接被Reset掉了。

java.net.SocketException: Connection reset

各个实例的日志都查看了，也没找到异常点。
没办法，只能抓包了。同事使用tcpdump抓了包，使用wireshark打开看了，也没有看到什么异常。正常的连接，会突然收到一个RST包。

本来对ZooKeeper了解不多，但有接触过，也被拉着一起排查。
同事排除了SSL的影响，我一开始的怀疑点是数据包损坏，但数据包损坏的话，应该有重传发生，根据抓的包看，并没有发现重传，这个方向应该不对。

其他可能的原因就只有两个了。

1. ZooKeeper本身未知的问题；
2. 某些流量中的pattern触发了网络设备的防护机制。

同事反馈这个环境里的ZooKeeper实例是在同一个二层网络中，也就是说并没有跨网络设备。鉴于1的可能性也比较小，就目前手头有的输入来说，就只有抓到的包，还是按照2的方向排查下。

0x02 IP协议细节

2.1 identity字段

通过对比正常和异常的数据包，发现有以下异常。

正常包的identity字段是逐渐递增的。
而RST的包只有0和固定的23352（经过了修改）。查询资料