记一次 TCP 全队列溢出问题排查过程

1. 前言

本文排查的问题是经典的TCP队列溢出问题，因TCP队列问题在操作系统层面没有明显的指标异常，容易被忽略，故把排查过程分享给大家。

2. 问题描述

A服务调用B服务接口超时，B服务主机IOWAIT高，具体超时情况分为两种：

• A服务的请求在B服务日志中可查到，但B服务的响应时间超过了A服务的等待超时时间3S。
• A服务的请求在B服务日志中无法查到。

3. 问题分析

此种超时请求集中在很短的一段时间（通常在2分钟之内），过后便恢复正常，所以很难抓到问题现场分析原因，只能搭建测试环境，A服务持续请求B服务，在B服务主机上通过DD命令写入大量数据造成主机IOWAIT高，同时通过TCPDUMP在两端抓包分析。
部分服务超时日志：

• 服务A：Get http://xxx&id=593930: net/http: request canceled (Client.Timeout exceeded while awaiting headers)
• 服务B: "GET xxx&id=593930 HTTP/1.1" 200 64 "-" "Go-http-client/1.1" "-" "-" 165000（单位微秒）

服务A发起请求3S后没有收到服务B响应，断开连接，服务B日志显示处理时长为0.165S，远低于3S，服务A侧看服务B的响应时间为网络传输时间、TCP队列排队