记一次网络故障排查

背景：

A到B网络通畅，偶尔出现A连接B的80服务出现连接超时。B端口开通。两端防火墙与端口无关，排除服务器防火墙干扰。

排查思路和方法：

0.首先确认是否网络丢包，或者两端服务器网卡跑满，服务器负载较高。

1.mtr 需要mtr 0.85版本及以上版本。

mtr --first-ttl 5 --tcp --port 80  3.3.3.3        或者     mtr -n --tcp --port=80 --first-ttl=5  3.3.3.3 

     跳过前4跳路由器信息，从第5跳开始进行mtr测试。  tcp模式   tcp端口是80  持续访问，查看丢包情况。 有些较高的丢包率路由器可能是路由器策略的丢失，并非真正故障。

2.https://github.com/huigher/tcpping2       工具连接

python tcpping2.py -i 1     3.3.3.3  80       间隔1秒  发起向3.3.3.3的80 端口发起TCP连接测试。查看是否有出现如下情况

如上图出现源地址A到的43704  43720 端口到 B的80端口出现连接超时5秒。通过如下命令执行A的地址和端口持续进行测试：

python tcpping2.py -i 1 -H  A     -P 43704    B    80   -R     看是否持续tcp连接超时。

同时可以再服务器两端进行tshark -i lo -n -t ad >/tmp/111       进行抓包，看是哪端没有正常处理 TCP三次握手的请求。

 

总结：最终通过测试发现，是公网某条对等链路上的一个硬件的某个端口故障，导致hash到这个端口上的流量会转发失败。导致特定端口请求失败。