失败的丢包排查

一 背景

有时候,需要关注下网络的是否丢包,特别是高带宽情况下测试系统的性能的时候, 这次我们在测试很小的流量的情况下,用ifconfig命令查看发现丢包:

watch ifconfig eno2

[root@localhost ~]#  ifconfig eno2
eno2: flags=4419<UP,BROADCAST,RUNNING,PROMISC,MULTICAST>  mtu 1500
        ether 78:ac:44:0f:16:00  txqueuelen 1000  (Ethernet)
        RX packets 1445302589  bytes 255819232376 (238.2 GiB)
        RX errors 0  dropped 43330140683  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

dropped 数据在一直增加.

二 分析

2.1 实际网卡速率

既然没有错误,那么看看网卡的支持的速率多大,是否可以满足现有的要求:

[root@localhost ~]# ethtool eno2 | egrep 'Speed|Duplex'
 Speed: 10000Mb/s
 Duplex: Full

10Gbps大于测试的速率,这个原因排除.

2.2 ethtool 分析具体丢包原因

通过ethtool -S来查看丢包原因:

[root@localhost ~]# ethtool -S eno2|grep drop
     rx_dropped: 1996379212
     tx_dropped: 0
     port.rx_dropped: 0
     port.tx_dropped_link_down: 0
[root@localhost ~]# ethtool -S eno2|grep error
     rx_errors: 0
     tx_errors: 0
     rx_length_errors: 0
     rx_crc_errors: 0
     port.tx_errors: 0
     port.rx_crc_errors: 0
     port.rx_length_errors: 0

发现除了丢包数据,并没有明显的错误.

####2.2.1  rx_missed_errors
此原因是ring-buffer不够了,可能原因来的速率确实很大,超出了预期,如果是临时的大流量,可以通过增加rx的ring-buffer大小来解决,这里面的ring-buffer大小是指存的帧的数量,而不是字节数.

# ethtool -g eno2
Ring parameters for eno2:
Pre-set maximums:
RX:  4096
RX Mini: 0
RX Jumbo: 0
TX:  4096
Current hardware settings:
RX:  1024
RX Mini: 0
RX Jumbo: 0
TX:  512

2.2.2 overruns

这玩意增大,说明数据包还没到ring buffer就被物理网卡丢弃了,可能原因是中断不均衡造成的. 如果没有做线程绑定cpu的设置,就要看下是否开启了中断均衡:

service irqbalance status

如果指定了处理网络包的线程绑定了具体的CPU,则需要将系统自带的中断均衡程序关闭:

service irqbalance stop

注意,处理网络包的线程绑定cpu后, 可以达到的目的是网络包的中断是这个线程处理,而且后续也是 这个线程再进一步分析包,好处是缓存可以重用,不用因为切换不同线程导致缓存失效的问题. 特别是NUMA架构,要将网卡归属NUMA节点的CPU绑定给线程,查看办法:

lscpu 
...
NUMA node0 CPU(s):     0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38
NUMA node1 CPU(s):     1,3,5,7,9,11,13,15,17,19,21,23,25,27,29,31,33,35,37,39
...

网卡归属的NUMA节点查看:

[root@localhost ~]# cat /sys/class/net/eno2/device/numa_node
0

我们就可以把NUMA节点0上的CPU绑定给线程,用于处理eno2网卡的数据包。

如何把网卡的队列的中断处理绑定到特定的cpu上，虽然可以手工设置，但是比较麻烦，网上有个脚本：set_irq_affinity ，通过这个脚本可以方便地设置：

set_irq_affinity 0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38 eno2

即用0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30,32,34,36,38 这些cpu来处理eno2网卡的中断。我们可以将eno2的网卡队列改成了20，这样刚好可以一一对应，更改办法：

ethtool -L eno2 combined 20

负载均衡相关设置：

ethtool -K  eno2   rxhash on
ethtool -K  eno2   ntuple on
for proto in tcp4 udp4 ah4 esp4 sctp4 tcp6 udp6 ah6 esp6 sctp6
do
ethtool -N eno2 rx-flow-hash ${proto} sd
done

为了让一个流所属的双向包都均衡到同一个网卡队列中，需要设置对称哈希算法的key，设置方法如下：

ethtool -X eno2 hkey   6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A:6D:5A equal 20

2.2.3 rx_drop

这里面直观看是丢包数，其实不仅仅是丢包数，比较坑。The RT and RHEL7 kernels contains code that updates the rx_dropped counter for other non-error conditions.

The softnet backlog full
Bad VLAN tags
Packets received with unknown or unregistered protocols
IPv6 frames when the server is configured only for ipv4

具体可以参考：

[https://access.redhat.com/solutions/657483](https://access.redhat.com/solutions/657483)

如果想看实际网卡上是否有丢包，可以通过ethtool -S eno2|grep error,想看下重传率，可以通过netstat -s 查看：

奇怪的是，同样的包回放，如果不处理，只收包就不丢包，这样上面的原因就说不过去了，继续排查。

三 程序排查

3.1 首先是磁盘io排查

因为程序有大量写文件操作，所以看看是不是磁盘的IO满了造成的丢包。

 iostat -x 1 10

磁盘IO并未达到瓶颈。

yum install iotop
iotop -oP

也未看到特别大的磁盘IO，排除这个问题。

3.2 CPU

线程是绑定cpu的方式，而且整体来说占用很均衡，说明不存在cpu不均衡导致中断处理不过来造成的丢包问题。

top -Hp pid

查看关键线程的cpu占用情况，比较均衡，无瓶颈。

3.3 内存查看

yum install numactl
#查看内存占用
numastat -m

没发现什么异常，内存占用很均衡。

3.4 排查中断

通过以下命令看下，软中断在各个cpu上是否均衡，如果不均衡按照overrun的办法均衡下。

watch cat /proc/softirqs

四 其他

目前该排查的都排查了，包括驱动程序，已经按照安装了最新的驱动程序，仍然存在丢包问题。由于是采用netmap库抓包，所以下一步要进行源码或驱动排查。如果不是网卡丢包，而是正常的网络丢包，可以参考下安装下dropwatch排查

#yum install dropwatch
#dropwatch -l kas
>start

具体可以参考下面第一个链接：

[https://vcpu.me/categories/](https://vcpu.me/categories/)
[https://blog.huoding.com/2020/04/27/814](https://blog.huoding.com/2020/04/27/814)

五 诗词欣赏

《访戴天山道士不遇》

李白

犬吠水声中，桃花带露浓。
树深时见鹿，溪午不闻钟。
野竹分青霭，飞泉挂碧峰。
无人知所去，愁倚两三松。