网络丢包和网络延迟问题排查

网络问题往往都是比较复杂的，并且通常定位问题后也无能为力，只能推动相关运营商解决；

常见网络丢包的原因：

1. 骨干网拥塞

2.网络链路某个交换机坏了

3.服务器cpu负载高，数据包到网卡后cpu不能及时处理，但是缓冲区溢出，导致丢包

4.服务器网卡故障

ICMP协议

ICMP是一个网络层的协议，用来测试网络的连通性，因为ICMP非传输层，所以不需要端口号，ping、traceroute、mtr都使用的是ICMP协议, 这也是ping命令不能指定端口号的原因；ICMP只能搭配IPv4使用，如果是IPv6的情况下, 需要是用ICMPv6；

1.ICMP协议可以用来：成功到达目标地址后，目标主机会返回确认包，从而验证联通性；

2.如果没有到达目标主机，中间节点会通知发送主机IP包被丢弃的原因；

ICMP协议的实现，是内嵌在IP包里的，IP包头部有固定的20个字节，如果IP包头里面协议字段设置为ICMP，则IP包的包体里是ICMP包体；

ICMP包体可以简单理解为type加 content, 有2个字节用于标识是什么类型的ICMP包，剩下的字节存储内容；ICMP的具体使用，举例如下：

1. 测试连通性 ping 发送的ICMP类型为8 ，目标主机返回一个 ICMP类型为0的包，代表目标可达;

2.目标不可达的原因 如果目标不可达，中间路由器可能返回网络不可到达（代码字段值为0）、主机不可达到（代码字段值为1）、协议不可到达（代码字段值为2）等等包体；

3.网络响应时间 ICMP还可以处理时间戳请求，时间戳请求报文（类型值字段13）和时间戳应答报文（类型值字段14）用于测试两台主机之间数据报来回一次的传输时间。传输时，主机填充原始时间戳，接受方收到请求后填充接受时间戳后以类型值字段14的报文格式返回，发送方计算这个时间差。

4.网络路由路径 ICMP差错控制报文中的TTL超时会回向源点发送一个时间超时报文。例如A 主机 traceroute B主机，A会封装一些分组，这些分组很特殊，例如第一个分组的TTL设置为1 ，第二个分组的TTL设置为2 以此类推.......当第一个分组到达第一个路由器时，发现TTL变成了0就会给源主机发送一个时间超时报文，这也就知道了这个分组所经过的一个路由器，同理可得其他路由器。 当最后一个分组到达B主机时，收集每个时间超时的报文中的IP 就获得了A主机到B主机的路径；

ping 命令

ping命令会先发送一个 ICMP Echo Request给对端,对端接收到之后, 会返回一个ICMP Echo Reply,若没有返回，就是超时了，会认为指定的网络地址不存在。

ping能验证网络的连通性，并会统计响应时间和TTL(IP包中的Time To Live，生存周期)，也可以用于查看网络丢包率；

ping -c 5 -s 1024 -i 1 baidu.com
 -c 代表发送次数 
 -s 代表包体字节数 
 -i 代表超时秒数

traceroute 命令

traceroute也是基于ICMP协议实现的。可用于打印执行主机到目标主机之前经历多少路由器。

traceroute -n baidu.com

 mtr 命令

mtr命令实际是集成了traceroute、ping的功能；
mtr底层首先利用traceroute计算出所有的路由器节点，然后针对每个路由器节点发送ping命令，最后对数据做了汇总和展示；

# 如果不使用任何参数 mtr会动态不停的运行
sudo mtr -c 10  -r  baidu.com
-c 代表发包数量
-r 代表生成report 等效于 --report
-w 代表使用hostname 而不是ip地址

Loss% 表示在每一跳的丢包率
Snt 每个中间设备收到的发送的报的数目（上图为400个包），MTR会同时对所有中间节点发送ICMP包进行测试。
Last 最后一个数据包往返时间（ms）
Avg 数据包往返平均时间（ms）
Best 数据包往返最小时间（ms）
Wrst 数据包往返最大时间（ms）
StDev 标准偏差。如果标准偏差越高，说明数据包在这个节点上的延时越分散。

如何分析MTR报告?

1.节点分析

MTR 的输出分成三大块。根据配置，第二或第三跳一般都是本地 ISP，倒数第二或第三跳一般为目的主机的ISP。中间的节点是数据包经过的路由器。

2.分析丢包率时

1) ICMP 包的速率限制和丢失可能会同时发生。如果发生包的丢失情况，我们要用倒推路径上的最低百分比来衡量。

2) MTR 报告目的主机100%丢包，这可能是目的主机防火墙的原因，例如： iptables 配置丢掉 ICMP 包所致。

3) 互联网设施的维护或短暂的网络拥挤可能会带来短暂的丢包率，当出现短暂的10%丢包率时候，不必担心，应用层的程序会弥补这点损失。

4) 很多路由器可能会直接丢弃 ICMP 包，这时就会导致超时（???), 有时候运营商的路由器配置原因，导致 ICMP 包永远不能到达目的地. 如果最终到达了目标主机，可以忽略中间节点的(???)

5) 很多时候问题是在数据包返回途中发生的。数据包可以成功的到达目的主机，但是返回过程中遇到“困难”了。所以，当问题发生后，我们通常需要收集反方向的 MTR 报告。

3.分析网络延迟

1) ICMP 速率限制也可能会增加延迟,如果中间节点延迟高，最终目标主机延迟低，则是中间设备限制了 ICMP 传输速率的原因。所以一般要用最后一跳的实际延迟为准。

tcpdump 命令

tcpdump本身是排查tcp/ip 网络问题的大杀器；
tcpdump可以单独使用，但结合wireshark.app 等可视化软件来使用会更加直观；
tcpdump使用本身较为复杂，可以参考相关官方文档；

这里举例说明如何使用tcpdump抓取ICMP包:

# 在目标机器监听来源机器的icmp包
tcpdump -i en7 -n -vv -p icmp and src host 10.38.160.64
# 在源机器发送ping命令 注意接收端的包大小需要+8字节 也就是1032
ping -c 1 -s 1024 10.231.59.179

博客可能不能及时回复问题，技术问题欢迎加入交流。

具有丰富的模板资源及模板开发能力、项目落地管理经验分享欢迎加入交流

微信号:king_songax