iperf3跑满100G网卡实测记录

最新推荐文章于 2025-02-26 19:50:12 发布
最新推荐文章于 2025-02-26 19:50:12 发布
阅读量4.8k 收藏 11
点赞数 3
分类专栏： 随缘测试 文章标签： 网络 服务器 iperf3 压力测试 100G
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacicson1987/article/details/131962715
版权
在两台服务器之间进行网络性能测试，通过iperf3客户端和服务器端的配置，利用MellanoxConnectX-5100G网卡，展示出稳定的31.4Gbps至36.4Gbps的传输速率，总合并速率接近92GB/s。测试过程中，CPU占用率保持在较低水平，表现出良好的网络传输效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境准备

拓扑

两台服务器 100G网卡对插直连。

ubuntu20.04, 系统设置默认状态

MTU 1500

网卡

Mellonax ConnectX5 100G

root@vnet:~# lspci | grep Mellanox
98:00.0 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]
98:00.1 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]

设置为以太网模式

#mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2
root@vnet:~#  mlxconfig -d /dev/mst/mt4119_pciconf0 q |grep  LINK_TYPE_P
         LINK_TYPE_P1                                ETH(2)          
         LINK_TYPE_P2                                ETH(2)

测试

服务端

三个窗口分别开3个iperf3 server

iperf3 -s -p 5200
iperf3 -s -p 5201
iperf3 -s -p 5202

客户端

三个窗口分别同时开3个iperf3 client，跑10分钟

iperf3 -c 10.0.0.1 -p 5200 -t 600
iperf3 -c 10.0.0.1 -p 5201 -t 600
iperf3 -c 10.0.0.1 -p 5202 -t 600

iperf3结果

三个iperf3 Client, 合并速率大约 92GB/s

第一个

root@vnet:~# iperf3 -c 10.0.0.1 -p 5200 -t 600
Connecting to host 10.0.0.1, port 5200
[  5] local 10.0.0.2 port 39104 connected to 10.0.0.1 port 5200
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  5.70 GBytes  49.0 Gbits/sec  639   2.82 MBytes       
[  5]   1.00-2.00   sec  3.82 GBytes  32.8 Gbits/sec    0   2.82 MBytes       
[  5]   2.00-3.00   sec  3.65 GBytes  31.4 Gbits/sec    0   2.82 MBytes       
[  5]   3.00-4.00   sec  3.65 GBytes  31.4 Gbits/sec    0   2.82 MBytes       
[  5]   4.00-5.00   sec  3.70 GBytes  31.8 Gbits/sec    0   2.83 MBytes       
[  5]   5.00-6.00   sec  3.71 GBytes  31.8 Gbits/sec    0   2.83 MBytes       
[  5]   6.00-7.00   sec  3.66 GBytes  31.4 Gbits/sec    0   2.83 MBytes       
[  5]   7.00-8.00   sec  3.65 GBytes  31.4 Gbits/sec    0   2.85 MBytes       
[  5]   8.00-9.00   sec  3.65 GBytes  31.4 Gbits/sec    0   2.85 MBytes       
[  5]   9.00-10.00  sec  3.65 GBytes  31.4 Gbits/sec    0   2.89 MBytes       
...
[  5] 594.00-595.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.81 MBytes       
[  5] 595.00-596.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.81 MBytes       
[  5] 596.00-597.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.95 MBytes       
[  5] 597.00-598.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.95 MBytes       
[  5] 598.00-599.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.95 MBytes       
[  5] 599.00-600.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.95 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-600.00 sec  2.14 TBytes  31.4 Gbits/sec  7061             sender
[  5]   0.00-600.00 sec  2.14 TBytes  31.4 Gbits/sec                  receiver

第二个

root@vnet:~# iperf3 -c 10.0.0.1 -p 5201 -t 600
Connecting to host 10.0.0.1, port 5201
[  5] local 10.0.0.2 port 42866 connected to 10.0.0.1 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  4.76 GBytes  40.9 Gbits/sec    3   2.72 MBytes       
[  5]   1.00-2.00   sec  3.71 GBytes  31.9 Gbits/sec    0   2.72 MBytes       
[  5]   2.00-3.00   sec  3.65 GBytes  31.4 Gbits/sec    0   2.72 MBytes       
[  5]   3.00-4.00   sec  3.61 GBytes  31.0 Gbits/sec    0   2.72 MBytes       
[  5]   4.00-5.00   sec  3.55 GBytes  30.5 Gbits/sec    0   2.72 MBytes       
[  5]   5.00-6.00   sec  3.59 GBytes  30.8 Gbits/sec    0   2.72 MBytes       
[  5]   6.00-7.00   sec  3.65 GBytes  31.3 Gbits/sec    0   3.21 MBytes       
[  5]   7.00-8.00   sec  3.65 GBytes  31.3 Gbits/sec    0   3.21 MBytes       
[  5]   8.00-9.00   sec  3.65 GBytes  31.3 Gbits/sec    0   3.21 MBytes       
[  5]   9.00-10.00  sec  3.65 GBytes  31.3 Gbits/sec    0   3.21 MBytes       
[  5]  10.00-11.00  sec  3.65 GBytes  31.3 Gbits/sec    0   3.21 MBytes     
...
[  5] 594.00-595.00 sec  3.65 GBytes  31.4 Gbits/sec    0   4.76 MBytes       
[  5] 595.00-596.00 sec  3.65 GBytes  31.4 Gbits/sec    0   4.76 MBytes       
[  5] 596.00-597.00 sec  3.65 GBytes  31.4 Gbits/sec    0   4.76 MBytes       
[  5] 597.00-598.00 sec  3.65 GBytes  31.4 Gbits/sec    0   4.76 MBytes       
[  5] 598.00-599.00 sec  3.65 GBytes  31.4 Gbits/sec    0   4.76 MBytes       
[  5] 599.00-600.00 sec  4.24 GBytes  36.4 Gbits/sec    0   4.76 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-600.00 sec  2.14 TBytes  31.4 Gbits/sec  270             sender
[  5]   0.00-600.00 sec  2.14 TBytes  31.4 Gbits/sec                  receiver

第三个

root@vnet:~# iperf3 -c 10.0.0.1 -p 5202 -t 600 
Connecting to host 10.0.0.1, port 5202
[  5] local 10.0.0.2 port 33730 connected to 10.0.0.1 port 5202
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  3.30 GBytes  28.4 Gbits/sec    0   1.76 MBytes       
[  5]   1.00-2.00   sec  3.65 GBytes  31.4 Gbits/sec    0   1.85 MBytes       
[  5]   2.00-3.00   sec  3.65 GBytes  31.4 Gbits/sec    0   1.85 MBytes       
[  5]   3.00-4.00   sec  3.70 GBytes  31.8 Gbits/sec    0   1.85 MBytes       
[  5]   4.00-5.00   sec  3.71 GBytes  31.8 Gbits/sec    0   1.85 MBytes       
[  5]   5.00-6.00   sec  3.66 GBytes  31.5 Gbits/sec    0   1.85 MBytes       
[  5]   6.00-7.00   sec  3.66 GBytes  31.4 Gbits/sec    0   1.85 MBytes       
[  5]   7.00-8.00   sec  3.66 GBytes  31.4 Gbits/sec    0   1.97 MBytes       
[  5]   8.00-9.00   sec  3.66 GBytes  31.4 Gbits/sec    0   1.97 MBytes       
[  5]   9.00-10.00  sec  3.66 GBytes  31.4 Gbits/sec    0   1.97 MBytes       
[  5]  10.00-11.00  sec  3.66 GBytes  31.4 Gbits/sec   50   1.53 MBytes 
...
[  5] 590.00-591.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 591.00-592.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 592.00-593.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 593.00-594.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 594.00-595.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 595.00-596.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 596.00-597.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 597.00-598.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 598.00-599.00 sec  3.65 GBytes  31.4 Gbits/sec    0   2.07 MBytes       
[  5] 599.00-600.00 sec  6.34 GBytes  54.4 Gbits/sec  715    824 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-600.00 sec  2.15 TBytes  31.5 Gbits/sec  12151             sender
[  5]   0.00-600.00 sec  2.15 TBytes  31.5 Gbits/sec                  receiver

接口速率

在这里插入图片描述

其中发送速率12016406，基本稳定在1200000 KB/s以上

Trans KB/sTrans KbpsTrans MbpsTrans Gbps
120164069613124896131.24896.131248

Kpbs 与 KB/s换算关系是 x8。

Kbps Mbps Gbps换算倍数是 1000。

CPU占用

客户端

top - 07:48:53 up 5 min,  6 users,  load average: 0.61, 0.24, 0.10
Tasks: 765 total,   2 running, 763 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  1.5 sy,  0.0 ni, 98.4 id,  0.0 wa,  0.0 hi,  0.1 si,  0.0 st
MiB Mem : 515430.8 total, 250782.5 free, 263932.7 used,    715.5 buff/cache
MiB Swap:   8192.0 total,   8192.0 free,      0.0 used. 249515.3 avail Mem 

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND                                                                                     
   3394 root      20   0    5900   3184   2760 R  34.9   0.0   0:06.79 iperf3                                                                                      
   3393 root      20   0    5900   3100   2676 S  33.9   0.0   0:07.63 iperf3                                                                                      
   3392 root      20   0    5900   3188   2764 S  33.2   0.0   0:07.17 iperf3

服务端

Tasks: 622 total,   3 running, 249 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.0 us,  2.3 sy,  0.0 ni, 97.1 id,  0.0 wa,  0.0 hi,  0.6 si,  0.0 st
KiB Mem : 52781030+total, 48375638+free, 43817464 used,   236448 buff/cache
KiB Swap:  4194300 total,  4194300 free,        0 used. 48168425+avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                        
 3216 root      20   0    9752   2316   2064 R  67.4  0.0   0:32.56 iperf3                                                                                         
 3143 root      20   0    9884   2408   2148 S  59.5  0.0   7:45.59 iperf3                                                                                         
 3176 root      20   0    9884   2352   2096 R  55.8  0.0   6:41.01 iperf3
网口速率测试工具 iperf3
一个软件工程师的技术笔记
07-30 6969
先前有整理了 iperf 的使用文章（https://blog.csdn.net/engrossment/article/details/84559708），但近期又对这个 ETH 的测试进行了研究，有一些新的发现，故重新整理出来。 iperf 官网：https://iperf.fr/ 概述 本文档说明 ETH 网口的带宽测试。基于 PCIe 等方式扩展的网口设备也可以使用该测试方法。或...
【QNX+Android虚拟化方案】117 - QNX 以太网 iperf3 上行带宽吞吐量低的问题分析优化
|~~~热爱生活、努力学习的小伙汁~~~|
08-31 798
【QNX+Android虚拟化方案】117 - QNX 以太网 iperf3 上行带宽吞吐量低的问题分析优化
100G网卡速度测试(基于ubuntu 20.04)
最新发布
qq_41611376的博客
02-26 338
检查自己的网卡是否工作在PCIE x16模式（PCIE3.0的网卡应该工作在PCIE 3.0x16），PCIE 4.0网卡至少要工作在x8模式（前提是主板也支持PCIE 4.0）如下图，如果是类似于3647平台的双CPU平台，注意NUMA问题。例如，如果跑程序的是Socket0上的CPU，而PCIE插在Socket 1上的PCIE，将会带来性能损失。LnkSta: Speed 8GT/s (ok), Width x16 (ok),此处才表示网卡确实工作在PCIE 3.0模式，使用PCIE通道数为16。
iperf3的最简教程
热门推荐
DeepMindMan的博客
03-27 6万+
一、介绍  iperf3是用来测量一个网络最大带宽的工具。它支持调节各种参数比如发送持续时间，发送/接收缓存，通信协议。每次测试，它都会报告网络带宽，丢包率和其他参数。更多信息请登陆官网：https://iperf.fr/二、安装  操作系统：centos7.0  软件下载网址：https://iperf.fr/iperf-download.php（选择对应的发行版）  软件名称：iperf3-3...
iperf3 测试100G网卡带宽性能
xiaosheng124的博客
11-27 3万+
iperf3 iperf3 作为iperf 系列网络测试工具新一代工具，开发团队重写代码使之有全新的实现方式，更少的代码量，更加小巧，但这也导致了其与iperf工具前后不兼容，一些命令执行具有差异化，而这些差异在大带宽网卡性能测试时则更加明显，现记录整理以供大家参考。 iperf 带宽性能测试 首先简单说一下iperf性能测试的命令，由于它是C/S 架构，测试时需要先执行Server端命令： iperf -s -i 5 (-s 是开启server端 -i 5是每5s打印一次数据，可以不加) 之后.
Iperf3 网卡物理传输速度测试
gene's blog
01-31 1952
近期在进行主从机配置，发现从机接收主机数据无法达到指定速率，便进行网卡物理数据传送测试进而对网卡性能评估。-c 192.168.2.110: 指定客户端连接到的服务器的IP地址；-b 25M: 指定TCP带宽为25兆比特每秒（25 Mbps）；-b 25M: 指定TCP带宽为25兆比特每秒（25 Mbps）；-i 1: 指定报告间隔为1秒，即每秒显示一次性能报告；-i 1: 指定报告间隔为1秒，即每秒显示一次性能报告；-t 10: 指定测试的总时间为10秒；-t 10: 指定测试的总时间为10秒；
iperf3指定网卡测试 --bind-dev参数详解
meihualing的专栏
04-02 7495
iperf3 -B, --bind host[%dev]; iperf3 --bind-dev dev
iperf测试网卡性能
weixin_34019144的博客
08-15 151
1，iperf是一个网络性能测试工具。可以测试TCP和UDP带宽质量，可以测量最大TCP带宽，具有多种参数和UDP特性，可以报告带宽，延迟抖动和数据包丢失 2，安装epel源wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo 3，安装iperf yum -y install iperf 4...
使用iperf3测试网卡bond性能
大数据，大模型，服务器，技术、架构，方案
05-16 1771
当 Linux 系统中的两个网卡配置为 Bonding 模式 4（即 802.3 ad 动态链路聚合模式），目的是为了实现网络流量在多个物理链路上的负载均衡和故障转移，从而理论上可以达到或接近两个网卡带宽之和。理论上，为了达到 20,000 Mbps，你需要根据实际带宽和希望的测试强度来决定线程数。为了尽量测试出这个极限，可以尝试使用较高的线程数，但需注意不要超出系统或网络的实际处理能力。但是，有时手动设置窗口大小可以帮助提高特定条件下的吞吐量，尤其是在进行高带宽、低延迟网络的测试时。
鲲鹏920集成100G网卡RDMA测试说明
无知的我
03-17 2585
目前鲲鹏920处理器内集成了两个100G网卡，支持RDMA（Roce V2），说明如下为了测试网卡性能，需要进行RDMA测试，两块鲲鹏920的板卡通过盛科的8180 100G交换芯片实现交换功能。
iperf&qperf&netperf 网卡性能测试
suyuwuyanzu的博客
11-25 3142
iperf&qperf&netperf 网卡性能测试 关于iperf介绍： https://baike.baidu.com/item/iperf/11067694?fr=aladdin 关于netperf介绍： https://baike.baidu.com/item/netperf 关于qperf介绍： 网络性能主要有两个指标是带宽和延时。延迟决定最大的QPS(Query Per Second)，而带宽决定了可支撑的最大负荷。qperf和iperf/netperf一样可以评测两个节点之间的
iperf3 编译安装及网讯WX1860千兆网口测试
qq_30135687的博客
07-28 1237
银河麒麟系统下使用iperf3对网讯1860进行TCP速度测试及UDP打流测试，包含有解决UDP丢包的方法
PCIe4.0 槽位全速释放100Gb 双口性能
xuanjian_bjtu的博客
07-06 5469
本篇文章是和同事一起为某个项目测试，验证在OpenPOWER9的服务器上，PCIe4.0能够全面释放双口100Gb网卡的性能。如有内容有偏差，欢迎私信。 硬件配置： 两台OpenPOWER（FP5280G2）服务器，上面有PCIe4.0的槽位。 处理器：POWER9 Sforza 16core * 2 板卡：Mellanox 100G CX516A-CDAT网卡 交换机：Mellanox MSN2700-CS2F 100G交换机 100G线缆：Mellanox 100G 铜缆 100G线缆：Hisense
iperf3 网络带宽性能测试工具
weixin_44654338的博客
05-07 3368
iperf3网络测试工具 Iperf 是一款基于TCP/IP和UDP/IP的网络性能测试工具。可以用来测试网络带宽和网络质量，还能提供网络延迟抖动、数据丢包率，最大传输单元统计信息，可以根据这些信息判断网络性能问题从而定位网络瓶颈解决网络故障。 工具下载地址：https://iperf.fr/download/source/iperf-3.1.3-source.tar.gz 1、安装iperf3 （1）上传工具包 下载工具包至本地后上传到服务器，我使用的是lrzsz直接拉上去 很方便 [root@r
iperf3-性能测试
sunrj_niu的博客
08-06 2766
iperf3 性能测试
使用iperf3测试局域网服务器之间带宽
秃了也弱了
09-13 1199
这里可以测出，多线程测试的网速加起来是1.88Gbits/sec ，换算成网速就是1.88*1024/8 = 240MB/S。
iper测试网卡速率；psping测延迟
奔跑的菜鸡
04-19 2423
安装 rpm包安装： wget https://iperf.fr/download/fedora/iperf3-3.1.3-1.fc24.x86_64.rpm rpm -i iperf3-3.1.3-1.fc24.x86_64.rpm ubuntu sudo apt-get install iperf3 使用demo 测试时还可以开两个shell窗口，进行本地回环测试。 在接收方 iperf3 -s 发送方 iperf3 -c 127.0.0.1 -t 10 命令介绍 -s 以server模式启
iperf3测试网络性能
weixin_42793041的博客
08-09 1574
iperf3参数一览 ./iperf3 -h Usage: iperf3 [-s|-c host] [options] iperf3 [-h|--help] [-v|--version] Server or Client: -p, --port # server port to listen on/connect to -f, --format [kmgtKMGT] format to report: Kbits, Mbits, Gbits, Tbits
linux iperf上下行带宽差距大
01-08
### Linux 中 iperf 上行与下行带宽差异分析 在Linux环境中使用iperf工具测量网络性能时，可能会观察到上行和下行带宽之间存在显著差异。这种现象通常由以下几个因素引起： #### 1. 网络配置不对称 许多互联网服务提供商(ISP)提供给用户的宽带连接是非对称性的，即下载速度远高于上传速度。这意味着即使在同一局域网内的设备间执行iperf测试，也可能因为ISP设定而表现出不同的传输速率[^2]。 #### 2. 设备硬件限制 参与测试的两端计算机或其他网络装置可能具有不同规格的NIC(Network Interface Card)，这些接口卡的数据处理能力直接影响着实际可达到的最大吞吐量。如果一方的网卡质量较差或老旧，则可能导致该方向上的流量受限于较低的速度上限[^1]。 #### 3. 路由器设置影响 某些路由器对于内外网访问有着特定的安全策略或是QoS(Quality of Service)规则，在进行跨子网通信时会对进出站的数据流实施不同程度的服务等级控制。当涉及到从内部发起对外部资源请求的情况（比如客户端向服务器发送大量数据），就容易受到此类机制干扰从而造成单边拥塞问题。 #### 4. 应用层协议特性 TCP/IP协议栈本身也会影响最终测得的结果。例如，默认情况下TCP采用慢启动算法来探测路径最大容量；而在多条并发连接场景下还存在着窗口缩放等因素制约整体表现。因此即使是相同物理链路上的不同应用实例也会因所选参数各异而导致实测数值有所偏差。 为了更直观地展示上述情况，可以运行如下命令来进行一次完整的双向带宽测试： ```bash # Server端保持监听状态等待Client连接 iperf -s # Client端指定目标地址并开启双向往返模式 iperf -c server_address -d -t 30 -i 5 ``` 通过调整iperf的各项选项以及对比多次实验所得平均值能够帮助定位具体瓶颈所在，并据此采取相应措施优化现有环境下的网络效能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值