linux下ixgbe网卡应用点滴

最新推荐文章于 2023-02-04 09:43:54 发布
最新推荐文章于 2023-02-04 09:43:54 发布
阅读量3.6w 收藏 26
点赞数
分类专栏： Linux系统管理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vah101/article/details/40077937
版权

1. 兼容光模块

ixgbe光纤网卡的驱动在默认情况下不支持第三方兼容光模块，会导致网卡驱动加载失败，表现为，执行lspci |grep 82599能看到网卡在pci设备中

06:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
06:00.1 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)

但是使用ifconfig -a命令，却找不到网卡，使用demsg可以看到以下出错信息：

ixgbe 0000:06:00.0: failed to load because an unsupported SFP+ module type was detected

解决问题的方法是，执行rmmod ixgbe，卸载掉驱动，然后执行

modprobe ixgbe allow_unsupported_sfp=1,1 

驱动对allow_unsupported_sfp的解释为：

allow_unsupported_sfp:Allow unsupported and untested SFP+ modules on 82599-based adapters (uint)

重新加载后，大部分情况下ifconfig就能够看到网卡信息了。


2. RSS队列设置

RSS（receive side scaling）是有微软提出的一种负载分流方法，能够将网卡的流分配到不同的队列中，再由不同的cpu核来处理，通过这项技术能够将网络流量分载到多个cpu上，降低单个cpu的占用率。默认情况下，每个cpu核对应一个rss队列。ixgbe驱动将收到的数据包的源、目的ip地址和端口号，交由网卡硬件计算出一个rss hash值，再根据这个hash值来决定将数据包分配到哪个队列中。通过cat /proc/interrupts |grep 网卡名的方式，就可以看到网卡使用了几个rss通道。

加载ixgbe时，也可以通过命令行来决定rss通道的个数：

modprobe ixgbe MQ=1,1 RSS=8,8

其中，MQ的含义为：

MQ:Disable or enable Multiple Queues, default 1 (array of int)

是否使用多队列，其中对于多个网口的情况，使用数组来表示针对每个网口的配置

RSS:Number of Receive-Side Scaling Descriptor Queues, default 0=number of cpus (array of int)


3. RSS的均中断

可以参照 http://blog.csdn.net/vah101/article/details/38615795

对于redhat或者centos用户，除了可以命令行操作，还可以使用tuna配置网卡队列的中断亲和性、进程的cpu亲和性。tuna的界面如图所示：



再有一个简单的方法，就是执行ixgbe网卡驱动包里面的scripts目录下的脚本set_irq_affinity.sh，killall irqbalance 杀掉irqbalance，再执行：

[root@111 scripts]# sh set_irq_affinity.sh eth2
 WARNING: irqbalance is running and will
          likely override this script's affinitization.
          Please stop the irqbalance service and/or execute
          'killall irqbalance'
eth2 mask=1 for /proc/irq/183/smp_affinity
eth2 mask=2 for /proc/irq/184/smp_affinity
eth2 mask=4 for /proc/irq/185/smp_affinity
eth2 mask=8 for /proc/irq/186/smp_affinity
eth2 mask=10 for /proc/irq/187/smp_affinity
eth2 mask=20 for /proc/irq/188/smp_affinity
eth2 mask=40 for /proc/irq/189/smp_affinity
eth2 mask=80 for /proc/irq/190/smp_affinity
eth2 mask=100 for /proc/irq/191/smp_affinity
eth2 mask=200 for /proc/irq/192/smp_affinity
eth2 mask=400 for /proc/irq/193/smp_affinity
eth2 mask=800 for /proc/irq/194/smp_affinity
eth2 mask=1000 for /proc/irq/195/smp_affinity
eth2 mask=2000 for /proc/irq/196/smp_affinity
eth2 mask=4000 for /proc/irq/197/smp_affinity
eth2 mask=8000 for /proc/irq/198/smp_affinity
eth2 mask=10000 for /proc/irq/199/smp_affinity
eth2 mask=20000 for /proc/irq/200/smp_affinity
eth2 mask=40000 for /proc/irq/201/smp_affinity
eth2 mask=80000 for /proc/irq/202/smp_affinity
eth2 mask=100000 for /proc/irq/203/smp_affinity
eth2 mask=200000 for /proc/irq/204/smp_affinity
eth2 mask=400000 for /proc/irq/205/smp_affinity
eth2 mask=800000 for /proc/irq/206/smp_affinity

结果就是将eth2的中断依次的绑定到不同的cpu核上


4. RSS的高级配置

（1）ixgbe网卡RSS hash值的计算方法可以参考82599_datasheet_rev_2_0.pdf，可以从ftp://ftp.pku.edu.cn/open/net/Intel-NIC/doc/82599_Datasheet_rev_2_0.pdf下载。

其rss hash值的计算方法存在一个问题，就是对于同一个流的收、发这两个方向的数据包的rss hash值是不同的，也就是同一个流的两个方向的数据包会被分流到不同的队列中，为了解决这个问题，有人提出了修改RSS random key register(RSSRK)，将其改为重复的16个bit，来获取对称的结果，方法如http://www.hiyoufu.com/?p=33这篇博文所示。

（2）默认情况下，是数据包的四元组参与计算哈希值，但是针对特殊的需要，通过ethtool -N命令可以配置参与计算的元组，ethtool的帮助上有这么一句话：

rx-flow-hash tcp4|udp4|ah4|esp4|sctp4|tcp6|udp6|ah6|esp6|sctp6 
   m|v|t|s|d|f|n|r...
其中： 

f   Hash on bytes 0 and 1 of the Layer 4 header of the rx packet.
n   Hash on bytes 2 and 3 of the Layer 4 header of the rx packet.
对于udp协议来说f、n为源端口、目的端口，s、d为源ip、目的ip

检查当前系统上对udp协议的hash方式，可以执行如下命令：

root@111#ethtool -n eth2 rx-flow-hash udp4
TCP over udp4 flows use these fields for computing Hash flow key:
IP SA
IP DA
L4 bytes 0 & 1 [TCP/UDP src port]
L4 bytes 2 & 3 [TCP/UDP dst port]

使用如下命令，可以改变hash的计算方式：

[root@111]# ethtool -N eth2 rx-flow-hash udp4 sd
[root@111]# ethtool -n eth2 rx-flow-hash udp4 
UDP over IPV4 flows use these fields for computing Hash flow key:
IP SA
IP DA

使用这种方法，可以改变RSS通道的分配方法


（3）Ethernet Flow Director包控制

注意，低版本的ethtool可能不支持，centos6.4上的3.5版本可以支持。最新的ethtool可以从http://ftp.kernel.org/pub/software/network/ethtool/下载

可以根据用户配置的策略将符合特定策略的数据包与相应的队列绑定在一起，也可以将符合特定策略的包丢掉

要使用这个功能首先要执行：

ethtool -K eth2 ntuple on （否则，就会报错rmgr: Cannot insert RX class rule: Operation not supported）

通过如下命令配置：

ethtool -N  DEVNAME flow-type ether|ip4|tcp4|udp4|sctp4|ah4|esp4
[ src %x:%x:%x:%x:%x:%x [m %x:%x:%x:%x:%x:%x] ]
[ dst %x:%x:%x:%x:%x:%x [m %x:%x:%x:%x:%x:%x] ]
[ proto %d [m %x] ]
[ src-ip %d.%d.%d.%d [m %d.%d.%d.%d] ]
[ dst-ip %d.%d.%d.%d [m %d.%d.%d.%d] ]
[ tos %d [m %x] ]
[ l4proto %d [m %x] ]
[ src-port %d [m %x] ]
[ dst-port %d [m %x] ]
[ spi %d [m %x] ]
[ vlan-etype %x [m %x] ]
[ vlan %x [m %x] ]
[ user-def %x [m %x] ]
[ action %d ]
[ loc %d]] |
delete %d


比如，要将192.168.100.1发来的包丢掉，使用如下命令：

[root@111]# ethtool --config-ntuple eth2 flow-type ip4 src-ip 192.168.100.1  action -1

可以通过这种方法将攻击流量直接过滤掉

将源端口为80的数据流，绑定到队列2：

[root@111]# ethtool --config-ntuple eth2 flow-type tcp4 src-port 80  action 2

[root@111]# ethtool --config-ntuple eth2 flow-type udp4 src-port 80  action 2

其中，action指的是网卡的队列序号，其中-1指丢弃。网卡的队列编号可以通过cat /proc/interrupts|grep ethX来查看，默认情况下就是cpu的核数。

另外，通过将不同端口绑定到不同的队列，可以将网卡的软中断分散，减少单核的cpu占用。（这主要是由于RSS队列最大只有16个，但是flow director的队列为cpu核数，一般服务使用的双志强cpu，核数可能要大于16）

要注意，flow director只支持对同一个域的过滤，即第一次对src-port过滤，后面加入的规则只能针对src-port，否则会包错：

rmgr: Cannot insert RX class rule: Invalid argument

dmesg提示：

Only one mask supported per port


5. offload配置

ixgbe提供了一定的offload能力，能够使用网卡板载的硬件处理数据包，从而降低cpu的占用率。

执行ethtool -k 网口名，就可以看到网卡对应的offload功能：

Features for eth6:
rx-checksumming: on
tx-checksumming: on
scatter-gather: on
tcp-segmentation-offload: on
udp-fragmentation-offload: off
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: on
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on

其中：

rx-checksumming是计算tcp接收端的校验和，打开此项offload的命令是：ethtool -K ethX rx on，如果此项为off，就无法打开large-receive-offload

tx-checksumming由网卡硬件计算发送校验和，通过ethtool -K ethX tx on激活

这两项配置对于数据包长度达到1500字节的大包，比较明显。

scatter-gather与block DMA方式相对应，能够使内核读取非连续的内存地址空间，使用此项功能能够减少内存的分配、拷贝，达到降低cpu占用率的目的，使用ethtool -K ethX sg开启

tcp-segmentation-offload用了作tcp分片的offload，将大数据包，比如超过64k的分片为长度为mtu以下的小数据包，激活的命令为 ethtool -K ethX tso on

large-receive-offload将一系列小包聚合成大包来处理

generic-segmentation-offload与tcp-segmentation-offload的功能相似，不过是用在ipv6或udp协议上的


6. 配置内核参数

禁用时间戳 sysctl -w net.ipv4.tcp_timestamps=0

配置读缓冲区 sysctl -w net.core.rmem_max=16777216

配置写缓冲区 sysctl -w net.core.rmem_max=16777216 

修改SACK and Nagle配置   sysctl -w net.ipv4.tcp_sack=0 

SACK and Nagle是用来优化tcp连接丢包情况下连接的性能，如果工作的网络环境很好，几乎不存在丢包情况，可以禁用掉SACK and Nagle。其原理说明在：

http://www.vants.org/?post=74




vah101
关注
  • 0
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
set_irq_affinity
06-02
通过把sudo service irqbalance stop; 然后执行该脚本 使用方法： /sbin/set_irq_affinity eth1 可以进行中断绑定指定的cpu，提高网卡收包效率 把下面“eth1” 修改成对应的网卡名称 irq=$(cat /proc/interrupts | grep eth1 | cut -d':' -f 1); echo $irq for i in $irq ; do sudo cat /proc/irq/$i/smp_affinity_list ; done 查看绑定后的效果
在Debian系的Linux中编译并安装ixgbe驱动的教程
09-15
主要介绍了在Linux中编译并安装ixgbe驱动的教程,采用bash shell、适用于Debian、Ubuntu等各种基于Debian的Linux系统，需要的朋友可以参考下
11.1,集群内部Service无法curl的bug(设置ipvs和关闭flannel的Checksum校验)
weixin_43292547的博客
10-10 1027
根据创建集群内部可访问的Service创建了集群内service，发现可以ping通service的ip:port但curl超时。 参照k8s集群ClusterIP不能使用 一开始就设置了ipvs，不知道为何没有生效。 kubectl get pods -n kube-system kubectl logs -n kube-system kube-proxy-**** ''' Flag proxy-mode="" unknown, assuming iptables proxy Using iptables
迟延分段与分片： Segmentation and Checksum Offloading: Turning Off with ethtool （好文）
认知 行动 坚持
07-13 7692
转载地址：https://sandilands.info/sgordon/segmentation-offloading-with-wireshark-and-ethtool Segmentation and Checksum Offloading: Turning Off with ethtool When introducing data communications
k8s -- 通过 cluster-ip + 端口 访问服务过慢问题处理
CN_LiTianpeng的博客
07-11 1735
1、执行如下命令 ethtool -K flannel.1 tx-checksum-ip-generic off [root@master01 ~]# ethtool -K flannel.1 tx-checksum-ip-generic off Actual changes: tx-checksumming: off tx-checksum-ip-generic: off tcp-segmentation-offload: off tx-tcp-segmentation:
网络中校验和比较
华的专栏
10-14 3082
本文说明了网卡， IP层，TCP层，UDP层的校验和功能，以及异同点。   网卡校验和 高级的网卡(e1000e等千M网卡)的接收，发送的校验和的计算方法是CRC32。 Refs：http://www.wireshark.org/docs/wsug_html_chunked/ChAdvChecksums.html http://www.intel.com/conten
MYSQL数据库网卡软中断不平衡问题及解决方案
shen1936的专栏
09-25 2207
原创文章，转载请注明： 转载自系统技术非业余研究 本文链接地址: MYSQL数据库网卡软中断不平衡问题及解决方案 最近公司在MySQL的数据库上由于采用了高速的如PCIe卡以及大内存，去年在压力测试的时候突然发现数据库的流量可以把一个千M网卡压满了。随着数据库的优化，现在流量可以达到150M，所以我们采用了双网卡，在交换机上绑定，做LB的方式，提高系统的吞吐量。 但是在最近压
Linux 网卡特性配置 ethtool 详解 网卡Offload
热门推荐
chenzhjlf的专栏
02-01 2万+
网络中校验和比较 2015年10月14日 本文说明了网卡，IP层，TCP层，UDP层的校验和功能，以及异同点。 网卡校验和 高级的网卡(e1000e等千M网卡)的接收，发送的校验和的计算方法是CRC32。 Refs：http://www.wireshark.org/docs/wsug_html_chunked/ChAdvChecksums.html http://www.in
Redis常用命令
Mr_ming_a_probie的博客
02-04 143
Redis常用命令介绍
ixgbe驱动不支持三方兼容光模块SFP+SFP+或者QSFP的解决方案
hzj_001的博客
08-09 5238
ixgbe光纤网卡的驱动在默认情况下不支持第三方兼容光模块，会导致网卡驱动加载失败,ifocnfig看不到对应的网卡： 1.现象： 1）执行lspci |grep 8255能看到网卡在pci设备中 2）但是使用ifconfig -a命令，却找不到网卡，使用demsg|grep ixgbe发现以下报错： 此现象表明：不支持第三方模块SFP+或者QSFP 2.解决问题的方法 ...
ntzc-default_零拷贝代码_ixgbe驱动_
10-04
ixgbe 10GE网卡驱动零拷贝代码，利用DMA机制，建立用户态内存和 网卡内核缓存的映射
ixgbe-linux-netmap-single-queue:Netmap 启用带有补丁的 ixgbe 驱动程序，这些补丁可以仅在单个队列上进行调整
05-29
ixgbe-linux-netmap-single-queue Netmap 启用带有补丁的 ixgbe 驱动程序，这些补丁可以仅在单个队列上进行调整 它是启用 netmap 的 ixgbe 驱动程序的补丁： :
ixgbe_debugfs.rar_V2
09-21
10 Gigabit PCI Express for Linux v2.13.6.
udp cksum
jishublog
12-28 5617
目前碰到一个奇怪的现象，某台机器（就叫hostA吧）上面tx-checksumming是开启状态下，所有本地发出去的UDP报文用tcpdump -vvv udp抓出来，凡是从这台主机发出去的包所有包全部显示bad udp cksum，收到的UDP包则没有一个是bad udp cksum的。 而在另外一台机器（就叫hostB吧）上面，则没有一个bad udp cksum的包，抓包不多，1000...
linux 网卡tx-checksumming和tx-checksum-ip-generic
weixin_44376670的博客
09-23 1608
如果 VIRTIO_NET_F_CSUM 设置的话，只是具备了 NETIF_F_HW_CSUM 的feature，所以它展示为on，而。NETIF_F_HW_CSUM 的出现，显得 NETIF_F_IP_CSUM 和 NETIF_F_IPV6_CSUM 就过时了。也就是说，NETIF_F_HW_CSUM 是 NETIF_F_IP_CSUM 和 NETIF_F_IPV6_CSUM 的一个超集。但是既然是硬件计算校验和，NETIF_F_HW_CSUM从功能上显然是能覆盖，所以。
linux 网卡绑定cpu,把网卡中断绑定到CPU,最大化网卡的吞吐量
weixin_30386401的博客
05-06 1028
先来看一下问题, 我们通过 ifconfig 查看接口的名称 为 p15p1, 一般机器为 eth0再通过命令➜ ~ cat /proc/interrupts | head -n 1 && cat /proc/interrupts |grep p15p1CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 ...
同学，你听说过MOT吗？
Gauss松鼠会
04-25 5861
1. MOT简介 openGauss引入了MOT存储引擎，它是一种事务性行存储，针对多核和大内存服务器进行了优化。MOT是openGauss数据库最先进的生产级特性（Beta版本），它为事务性工作负载提供更高的性能。MOT完全支持ACID特性，并包括严格的持久性和高可用性支持。企业可以在关键任务、性能敏感的在线事务处理（OLTP）中使用MOT，以实现高性能、高吞吐、可预测低延迟以及多核服务器的高利用率。MOT尤其适合在多路和多核处理器的现代服务器上运行，例如基于Arm/鲲鹏处理器的华为TaiShan服务器
linux 内核网络中 RPS/RFS 原理Ⅱ
05-28 1528
目录 1 RPS/RFS出现的原因 2 多队列网卡 3 RPS/RFS介绍 4 RSS介绍 5 网卡的 affinity 特性 6 小结 7 使用举例 1 RPS/RFS出现的原因 RPS/RFS功能是在 Linux- 2.6.35 中有google 的工程师提交的两个补丁，这两个补丁的出现主要是基于以下两点现实的考虑： 这两个补丁的出现，是由于服务器的CPU越来越强劲，可以到达十几核、几十核，而网卡硬件队列则才4个、8个，这种发展的不匹配造成了CPU负载的不均衡。 上面的提到的是..
centos7安装ixgbe网卡驱动
最新发布
08-26
确保下载与您的网卡型号和Linux内核版本匹配的驱动程序。 5. 解压 ixgbe 驱动程序包。运行以下命令： ``` tar -xf ixgbe-x.x.x.tar.gz ``` 其中 `ixgbe-x.x.x.tar.gz` 是您下载的驱动程序包的文件名。 6. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值