E810-CQDA1 E810-CQDA2 E810-2CQDA2 E810-XXVDA2 E810-XXVDA4 英特尔®以太网800系列 Linux性能调优指南

Intel® Ethernet 800 Series E810-CQDA1 E810-CQDA2 E810-2CQDA2 E810-XXVDA2 E810-XXVDA4 E810-XXVDA4T网卡基准性能测试和调优方法 英特尔®以太网800系列Linux性能调优指南

1.0介绍

本指南提供了使用Intel实现最佳网络性能的调优指导®以太网800
Linux环境下的系列(800系列)设备。它侧重于硬件、驱动程序和操作系统可能改善网络性能的条件和设置。

2.0初始检查清单

2.1更新驱动程序/固件版本

使用ethtool -i ethX检查驱动程序/固件版本。
1. 更新驱动。
获取最新消驱动链接:

https://sourceforge.net/projects/e1000/files/ice%20stable/
2. 更新固件。
在英特尔下载中心网站搜索特定的“非易失性内存(NVM)更新实用程序”

转到您的适配器:

https://downloadcenter.intel.com/

2.2读取驱动README文件

检查已知的问题，并从README文本中获取最新的配置说明ice驱动的源包。

2.3检查系统硬件能力

100 Gb/s和4x25 Gb/s的以太网网络速度有最低的CPU和系统要求达到高性能吞吐量。一般来说，现代服务器级处理器和最优内存针对您的平台的配置应该足够了，但是需求可能因您的系统而异
工作负载。应该填充所有内存通道，以实现全部内存带宽。这个平台应该为高性能模式配置BIOS和相关的内核设置。验证您的CPU并且内存配置能够支持所需的带宽级别工作负载。了解平台的体系结构以确保工作负载是合理的，这一点也很重要在网络硬件本地的核心和节点上适当地调度。

2.4检查Linux内核版本

本文档中提供的性能调优指导假设操作系统环境运行的是现在内核版本。

2.5检查内核启动参数

如果英特尔面向定向I/O的虚拟化技术(Intel®VT-d)已在BIOS中启用建议IOMMU采用直通模式，以获得最佳的主机网络性能。这消除了主机流量上的DMA开销，同时使虚拟机(vm)仍然具有优势英特尔®VT-d。这是通过在内核引导参数中添加以下行来实现的:

iommu = pt

2.6检查系统日志是否存在驱动错误

检查系统日志是否有错误和警告(/var/log/messages, dmesg)。

2.7检查PCIe插槽能力

800系列设备最多支持PCIe 4.0 x16连接，至少需要PCIe 3.0 x16连接速度(双端口25G时为x8)或PCIe 4.0 x8。部分PCIe x16物理槽位采用电配置方式有x8个槽位。这些插槽没有足够的带宽来充分发挥100G或四端口25G设备。软件设备驱动程序检测到这种情况，并将一条消息写入系统日志:

63.008 Gb/s available PCIe bandwidth, limited by 8 GT/s x8 link at 0000:xx:xx.0 (capable of 252.048 Gb/s with 16 GT/s x16 link)

如果发生此错误，请将适配器移动到真正的PCIe v3.0 x16或更高的插槽以避免性能问题
问题。

2.8确保DDP包加载正常

确保驱动程序报告动态设备个性化的存在和成功加载(DDP)包文件。当DDP包加载错误时，设备默认进入安全模式许多性能特性不可用。

DDP包加载成功:ICE OS Default package version X.X.X.X

如果在加载DDP包时出现错误，将导致性能问题。为故障排除步骤，请参考英特尔®以太网控制器E810动态设备个性化(DDP)技术指南(https://cdrdv2.intel.com/v1/dl/getContent/617015)

3.0基准性能测量和调优方法

3.1一般性能调优方法

每次只关注一个调优更改，以便了解每个更改对测试的影响。您在调优过程中越有条理，就越容易识别和处理问题的原因性能瓶颈。

3.2网络性能基准

在开始任何调优练习之前，有一个良好的基线度量是很重要的网络性能。除了对您的特定应用程序/工作负载进行初步评估之外性能方面，还可以使用标准的网络性能微基准测试来验证说明网络设备处于良好状态。为了测试25 Gb/s或更高的接口速度，通常需要多个流量线程利用连接。

下面的小节提供了常用的示例已知运行良好的微基准。

3.2.1 iperf2

在大多数基准测试情况下，英特尔推荐使用iperf2而不是iperf3，因为它易于使用在单个应用程序实例中支持多个线程。英特尔建议使用-P运行25G连接有2-4个线程，100G连接有6-8个线程。
服务器命令示例:

iperf2 -s

客户端命令示例:

iperf2 -c ${serverIP} -P 12

3.2.2 iperf3

如果使用iperf3，则需要应用程序的多个实例来利用多线程、RSS和硬件队列。英特尔建议运行2-4个应用程序会话25G连接，100G连接约6-8个会话。每个会话都应该指定一个使用-p选项唯一的TCP端口值。
服务器命令示例:

iperf3 -s -p <port> &

客户端命令示例:

iperf3 -c x.x.x.x -p <poet> &

3.2.3 netperf

netperf工具是吞吐量和延迟测试的强大选择。netperf中的TCP_STREAM测试测量设备的吞吐量能力。
服务器命令示例:

netserver

客户端命令示例:

netperf -t TCP_STREAM -l 30 -H <x.x.x.x>

netperf中的TCP_RR测试以事务/秒的值返回延迟。这是往返时间。建议使用-T x,x选项，如果“x”是设备本地的CPU。单向延迟可以这样计算:延迟(usec)=(½)/[事务/秒]*1,000，\

服务器命令示例:

netserver

客户端命令示例:

netperf -t TCP_RR -l 30 -H <x.x.x.x> -T x,x