网络故障经典案例

一、背景分析

企业的网络经常出现整网卡顿的情况，表现为网页没法打开、微信飞书消息转圈圈、视频加载缓慢等等问题，但有时候又正常，莫名其妙！问题一直找不到，检查了网络架构没有任何问题，也找了运营商检查线路没有任何问题。

网络架构大致如下：

二、问题剖析

公司反馈有线/无线上网均存在卡顿。所谓的“网页没法打开、微信飞书消息转圈圈、视频加载缓慢等等”这些表现的意思是什么呢？

它意味着：

整网带宽不足？

访问internet存在延时、丢包？

核心和出口设备工作异常？

域名解析异常？

TCP连接建立失败？

三、基础分析

1、确认带宽使用率

首先整网卡顿问题需要检查下是否有大的设备占用带宽和出口流量异常，查看带宽占有率情况。

2、基础网络诊断

检查外网IP连通性和域名解析（直接ping域名），找台PC接入不同的VLAN进行测试。

查看DNS解析、丢包、时延是否异常。

3、检测是否有IP冲突

一般看是否存在和核心交换机网关IP冲突即可，其它终端个例冲突无妨。

4、检测主干设备系统参数

检查核心交换机和出口路由器的CPU和内存，排除设备系统运行异常的原因。

四、深入分析

1、检测内网主干路性能瓶颈

为了进一步验证内网主干链路质量，使用PC通过IPerf搭建吞吐量测试环境，分别在接入层部署Client PC、在出口路由部署Server PC，由此确认各个接入VLAN到出口路由的吞吐量性能。

2、分析路由器出口流量

对路由器WAN口做监控，进行流量分析：

对于网页访问、应用上网等常见的internet流量监控，我们主要看2个常见的指标：

• TCP会话数建立失败率

• DNS请求和响应的

【分析TCP握手】

通过WAN口报文分析，发现短时间内有较多的TCP会话均没有得到响应而重传，如下图：

SYN不断重传，意味着没有得到前端响应的SYN ACK，不断的有连接建立失败。前端疑似存在会话数限制。

【分析DNS流量】

进一步使用wireshark做下对DNS的过滤，并做I/O统计：

上图红色曲线是路由器WAN口发出去请求DNS报文的速率（单位时间1秒内发出的DNS请求），绿色的曲线表示Internet响应DNS的速率。我们可以看到，在多个时间段内DNS的响应是跟不上DNS请求的，存在DNS阈值限制。 

3、查看路由器会话数

出口路由web上打开实时流量统计再看一下会话数，一直打开网页，查看会话数是否增加。

五、解决方案

诊断原因为：运营商线路限制了会话数和DNS阈值。

发现企业使用的是普通家用1Gbps宽带业务，更换为专线解除限制后问题解决。

六、总结

家用宽带是有限制的，虽然带宽达1Gbps，但会有会话数和DNS限制，终端带机量也就几十台。