一次近期排错的记录,简单总结记录一下。
一、故障现象
8月14日早晨,网络组接到报障电话,访问ZX系统出现异常,业务报文大量超时,多个第三方渠道交易受影响(后续又接到电话,北京访问上海其他http应用、文件传输应用也出现类似问题)。
二、排错思路及流程
- 首先,分析ZX系统访问流程,如下:
- 检查第三方网络专线及北京上海间500兆专线,结果未发现异常。
- 检查嘉定F5设备,未发现异常。
- 检查ZX系统后台服务器,未发现异常。
- 第一波检查完成后,未发现异常。
- 当前故障为从北京访问上海ZX系统异常,换一个排查思路,从上海嘉定端服务器本地拨测ZX系统url,结果正常!!
- 初步判断,故障点存在于北京、上海间网络链路,重点排查500兆专线 和 riverbed广域网加速设备(对500兆线路进行加速)。对比分别从北京、上海访问ZX系统结果:从北京访问有时正常,有时超时;从上海访问一直正常。
从北京访问上海超时截图: