解Bug之路：一次调用外网服务概率性失败问题的排查

和外部联调一直是令人困扰的问题，尤其是一些基础环境配置导致的问题。笔者在一次偶然情况下解决了一个调用外网服务概率性失败的问题。在此将排查过程发出来，希望读者遇到此问题的时候，能够知道如何入手。

起因

笔者的新系统上线，需要PE执行操作。但是负责操作的PE确和另一个开发在互相纠缠，让笔者等了半个小时之久。本着加速系统上线的想法，就想着能不能帮他们快速处理掉问题，好让笔者早点发完回去coding。

一打听，这个问题竟然扯了3个月之久，问题现象如下:

每个client都会以将近1/2的概率失败,而且报错都为:

着手排查

和appserver开发以及对应的PE交流发现，appserver和nginx之间是短连接，由于是socketTimeOutException，于是能够排除appserver和nginx建立连接之间的问题。去nginx上排查日志，发现一个奇异的现象，如下图所示:

所有的appserver都是调用一台nginx一直成功，而调用另一台nginx大概率失败。而两台nginx机器的配置一模一样，还有一个奇怪的点是，只有在调用出问题的对端服务器时才会失败，其它业务没有任何影响，如下图所示:

由于这两个诡异的现象导致开发和PE争执不下，按照第一个现象一台nginx好一台nginx报错那么第二台nginx有问题是合理的推断，所以开发要求换nginx。

按照第二个现象，只有调用这个业务才会出错，其它业务没有问题，那么肯定是对端业务服务器的问题，PE觉得应该不是nginx的锅。

争执了半天后，初步拟定方案就是扩容nginx看看效果。笔者觉得这个方案并不靠谱，盲目的扩容可能会引起