linux网卡多队列技术

最新推荐文章于 2024-09-09 16:53:58 发布

一个小白的学习日常

最新推荐文章于 2024-09-09 16:53:58 发布

阅读量7.4k

点赞数 2

分类专栏： linux系统专栏学习

原文链接：https://www.cnblogs.com/lsgxeva/p/11124762.html

版权

linux系统专栏学习专栏收录该内容

33 篇文章 6 订阅

订阅专栏

本篇文章主要是通过阅读了其他人的文章，后续进行了东拼西凑成自己可以理解的样子。但某些细节方面可以再进行深入研究和学习。

参考：

https://www.cnblogs.com/lsgxeva/p/11124762.html

https://xixiliguo.github.io/post/multi-queue/

https://blog.csdn.net/yue530tomtom/article/details/76095739

1 技术背景

单CPU处理网络IO存在瓶颈, 目前经常使用网卡多队列提高性能.通常情况下, 每张网卡有一个队列(queue), 所有收到的包从这个队列入, 内核从这个队列里取数据处理. 该队列其实是ring buffer(环形队列), 内核如果取数据不及时, 则会存在丢包的情况.
一个CPU处理一个队列的数据, 这个叫中断. 默认是cpu0(第一个CPU)处理. 一旦流量特别大, 这个CPU负载很高, 性能存在瓶颈. 所以网卡开发了多队列功能, 即一个网卡有多个队列, 收到的包根据TCP四元组信息hash后放入其中一个队列, 后面该链接的所有包都放入该队列. 每个队列对应不同的中断, 使用irqbalance将不同的中断绑定到不同的核. 充分利用了多核并行处理特性. 提高了效率。引用一张图来描述单网卡单队列与多网卡多队列之间cpu处理的差异。

通过这种设置单网卡多队列的方式，将不同队列绑定到不同cpu，从而实现cpu利用率的负载分担。实现该技术的前提是网卡必须支持RSS（Receive Side Scaling）。RSS是网卡的硬件特性，实现了多队列，可以将不同的流分发到不同的CPU上。

X86系统采用中断机制协同处理CPU与其他设备工作。长久以来网卡的中断默认由cpu0处理，在大量小包的网络环境下可能出现cpu0负载高，而其他cpu空闲。后来出现网卡多队列技术解决这个问题。

2 中断、队列、CPU之间关系

2.1 配置网卡多队列

（1）判断当前系统环境是否支持多队列网卡，执行命令:

lspci -vvv

如果在Ethernet项中。含有MSI-X: Enable+ Count=9 Masked-语句，则说明当前系统环境是支持多队列网卡的，否则不支持。

（2）ethtool -l eth0命令可以看到eth0网卡是否支持多队列，最多支持多少、当前开启多少

（3）设置网卡当前使用多队列。运行命令：ethtool -L eth0 combined <N> N为要使能的队列数

（4）要确保多队列确实生效，可以查看文件：

# ls /sys/class/net/eth0/queues/

rx-0 rx-2 rx-4 rx-6 tx-0 tx-2 tx-4 tx-6
rx-1 rx-3 rx-5 rx-7 tx-1 tx-3 tx-5 tx-7

如上，如果rx数量是设定值，则正确。

2.2 中断、队列与CPU之间关系

查看中断与对应CPU之间关系：

如图所示，第一列是中断号, 中间部分是对应CPU处理该中断的次数,最后一列em*-rx*-*表示网卡队列的中断。该命令可以看出来cpu对应的中断数。

也可以用mpstat -P ALL 1 1命令查看cpu的使用情况：

查询具体中断所绑定的CPU信息：
smp_affinity_list显示CPU序号. 比如 0 代表 CPU0, 2代表 CPU2 smp_affinity 是十六进制显示. 比如 2 为10, 代表 CPU1 (第二个CPU)

一个脚本查看中断号对应绑定的cpu：
#!/bin/bash
for ((i=31;i<=40;i+=1))
do
    cpu=$(cat /proc/irq/$i/smp_affinity_list)
    echo "Interrput $i belongs to cpu $cpu"
done

结果：
Interrput 31 belongs to cpu 6
Interrput 32 belongs to cpu 7
Interrput 33 belongs to cpu 1
Interrput 34 belongs to cpu 1
Interrput 35 belongs to cpu 2
Interrput 36 belongs to cpu 3
Interrput 37 belongs to cpu 6
Interrput 38 belongs to cpu 5
Interrput 39 belongs to cpu 5
Interrput 40 belongs to cpu 7

需要说明的一点是：

/proc/irq/{IRQ_ID}/smp_affinity，中断IRQ_ID的CPU亲和配置文件，16进制
/proc/irq/{IRQ ID}/smp_affinity_list，10进制，与smp_affinity相通，修改一个相应改变。

上面的IRQ_ID表示队列id号。

一般我们是直接配置队列的smp_affinity，使用16进制数字，然后再将16进制转换成2进制，最后再与cpu No.序列的“与”运算结果就是将affinity设置在那个（那些）CPU了。（也即smp_affinity中被设置为1的位为CPU No.）

举例说明：

如：8个逻辑core，那么CPU#的序列为11111111 （从右到左依次为CPU0~CPU7）
如果cat /proc/irq/76/smp_affinity的值为：20（20是16进制对应的二进制为：00100000与11111111求与），则76这个IRQ的亲和性为#5号CPU。
每个IRQ的默认的smp affinity在这里：cat /proc/irq/default_smp_affinity 。

3 RPS、XPS、RFS

之前谈的多网卡队列需要硬件实现, RPS则是软件实现,将包让指定的CPU去处理中断。配置文件为/sys/class/net/eth*/queues/rx*/rps_cpus。默认为0, 表示不启动RPS。如果要让该队列被CPU0,1处理, 则设置 echo “3” > /sys/class/net/eth*/queues/rx*/rps_cpus, 3代表十六进制表示11, 即指CPU0和CPU1
在开启多网卡队列RSS时, 已经起到了均衡的作用. RPS则可以在队列数小于CPU数时, 进一步提升性能。为了进一步利用所有CPU. RFS则进一步扩展RPS的能力, 它会分析并将包发往最合适的CPU(程序运行所在的CPU). 检查当前RPS, RFS开启情况:

运行脚本：
#!/bin/bash
for i in $(ls -1 /sys/class/net/em*/queues/rx*/rps_*); do echo -n "${i}:  "  ; cat ${i}; done

运行结果：
/sys/class/net/em1/queues/rx-0/rps_cpus:  00
/sys/class/net/em1/queues/rx-0/rps_flow_cnt:  0
/sys/class/net/em1/queues/rx-1/rps_cpus:  00
/sys/class/net/em1/queues/rx-1/rps_flow_cnt:  0
/sys/class/net/em1/queues/rx-2/rps_cpus:  00
/sys/class/net/em1/queues/rx-2/rps_flow_cnt:  0
/sys/class/net/em1/queues/rx-3/rps_cpus:  00
/sys/class/net/em1/queues/rx-3/rps_flow_cnt:  0
/sys/class/net/em2/queues/rx-0/rps_cpus:  00
/sys/class/net/em2/queues/rx-0/rps_flow_cnt:  0
/sys/class/net/em2/queues/rx-1/rps_cpus:  00
/sys/class/net/em2/queues/rx-1/rps_flow_cnt:  0
/sys/class/net/em2/queues/rx-2/rps_cpus:  00
/sys/class/net/em2/queues/rx-2/rps_flow_cnt:  0
/sys/class/net/em2/queues/rx-3/rps_cpus:  00
/sys/class/net/em2/queues/rx-3/rps_flow_cnt:  0

通过上面可以看出来，rps软件层面上是将所有队列发送给cpu0进行处理，而之前是硬件多队列上是将不同队列交给不同的cpu处理。

XPS是将发送包指定到CPU, 通常和同一队列的rps和xps配置一致.

脚本：
#!/bin/bash
for i in $(ls -1 /sys/class/net/em*/queues/tx*/xps_cpus); do echo -n "${i}:  "  ; cat ${i}; done

结果：
/sys/class/net/em1/queues/tx-0/xps_cpus:  00
/sys/class/net/em2/queues/tx-0/xps_cpus:  00

从上面可以看出来，网卡队列都将发送包指定到cpu0；

根据top输出查看软中断负载：

top进入交互式界面后, 按1 显示所有cpu的负载. si 是软中断的CPU使用率. 如果高比如50%, 说明该CPU忙于处理中断, 通常就是收发网络IO：