服务器万兆网卡传输文件,关于 MS Gen8 上万兆网卡拷贝文件时速度波动幅度过大的问题...

16年海淘了一台HP ProLiant MicroServer Gen8，一直没时间折腾，想着今年年终抽点时间把NAS搭建好，仓库盘什么的也都早准备好了，就缺个万兆网卡，所以春节前买了Supermicro AOC-STG-I2T，详见这篇帖子：https://www.chiphell.com/thread-2297397-1-1.html

到手上机一切顺利，通过网络跳线与之前那台HP Z230 SSF工作站上的HP Ethernet 10Gb 2-port 561T Adapter直连，链路速度自动协商为10.00 Gbps 全双工

IMG_20210206_095936.jpg (283.5 KB, 下载次数: 0)

2021-2-23 23:15 上传

IMG_20210206_134047.jpg (603.79 KB, 下载次数: 0)

2021-2-23 23:16 上传

IMG_20210206_134058.jpg (432.27 KB, 下载次数: 0)

2021-2-23 23:17 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (boot ui).JPG (146.84 KB, 下载次数: 0)

2021-2-23 23:19 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (drv).JPG (259.91 KB, 下载次数: 0)

2021-2-23 23:20 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (proset).JPG (238.74 KB, 下载次数: 0)

2021-2-23 23:21 上传

在主机两端分别用命令行 PSTools>psping -b -l 1048576 -n 105000 192.168.11.14:139 对端口带宽进行测试，结果为9.9 Gbps，曲线平滑，基本跑满了万兆 \(^o^)/~

-b 代表将进行带宽测试

-l  1500代表使用大小1500Bytes的数据包

-n 15000代表使用15000个数据包

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 psping to gen8).JPG (182.45 KB, 下载次数: 0)

2021-2-23 23:24 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 psping to gen8) (2).JPG (176.78 KB, 下载次数: 0)

2021-2-23 23:25 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (gen8 psping to z230).JPG (235.38 KB, 下载次数: 0)

2021-2-23 23:26 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (gen8 psping to z230) (2).JPG (211.11 KB, 下载次数: 0)

2021-2-23 23:28 上传

以下是从两端分别拷贝单个大文件时的实际表现，两台主机的存储环境配置如下：

MS Gen8 板载软阵列 HP Dynamic Smart Array B120i Controller

单盘 RAID 0 Intel SSD Pro 1500 Series 180G 系统盘

单盘 RAID 0 HGST HUS726060ALE610 6T 企业级数据盘

OS Windows Server 2016

HP Z230 工作站 Intel(R) 8 Series/C220 Chipset Family SATA AHCI Controller

SATA 0 HPE Intel SSD S4600 1.9T 系统盘

SATA 2 HP HDD MB4000GEQNH 4T 企业级数据盘

SATA 3 HP HDD MB4000GEQNH 4T 企业级数据盘

OS Windows Server 2019

首先是从MS Gen8的SSD复制文件到HP Z230的SSD，可以看出基本跑满了磁盘I/O的带宽

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (gen8 ssd to ssd z230).JPG (175.26 KB, 下载次数: 0)

2021-2-23 23:29 上传

但不知什么原因，从HP Z230的SSD复制文件到MS Gen8的SSD，速度慢的像HDD机械盘

是Intel Pro 1500写入性能就这样，还是MS Gen8板载软阵列B120i驱动兼容性问题？

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 ssd to ssd gen8).JPG (181.43 KB, 下载次数: 0)

2021-2-23 23:32 上传

同样是从HP Z230复制文件到MS Gen8，机械盘到机械盘的速度却能达到200 MB/s，曲线也比较平滑，只不过从另一个数据盘测试看又有所下降，而且从固态盘复制文件到机械盘，速度波动幅度很大

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 hdd to hdd gen8) (2).JPG (181.33 KB, 下载次数: 0)

2021-2-23 23:35 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 hdd to hdd gen8).JPG (183.38 KB, 下载次数: 0)

2021-2-23 23:36 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 ssd to hdd gen8).JPG (181.46 KB, 下载次数: 0)

2021-2-23 23:37 上传

这是从MS Gen8数据盘复制文件到HP Z230数据盘的测试图，可以看出已经跑满了HDD机械盘的I/O带宽，表现正常

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (gen8 hdd to hdd z230).JPG (180.94 KB, 下载次数: 0)

2021-2-23 23:39 上传

可奇怪的是，如果用千兆网卡双机直连对拷文件，速度都能跑满1.0 Gbps，详见下图：

从HP Z230的HDD复制文件到MS Gen8的SSD，可见曲线非常平滑笔直，完全不像以上万兆网卡下的样子

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 hdd to ssd gen8).JPG (183.05 KB, 下载次数: 0)

2021-2-23 23:42 上传

从HP Z230的HDD复制文件到MS Gen8的HDD

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 hdd to hdd gen8) (3).JPG (183.05 KB, 下载次数: 0)

2021-2-23 23:44 上传

总的来说，从MS Gen8复制文件到HP Z230是曲线波动变化最小的，下图就是从MS Gen8数据盘复制两部电影到HP Z230数据盘的表现

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (gen8 hdd to hdd z230) (2).JPG (183.72 KB, 下载次数: 0)

2021-2-23 23:45 上传

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (gen8 hdd to hdd z230) (3).JPG (184.35 KB, 下载次数: 0)

2021-2-23 23:46 上传

最让我百思不得其解的是，以上所描述的从HP Z230复制文件到MS Gen8的操作方式是先在MS Gen8系统上创建一个具有读写权限的用户账户，然后再在HP Z230系统环境下通过Windows资源管理器登录这个账户，直接复制粘贴的文件

可同样是类似的操作，不同之处是复制粘贴的过程改成在MS Gen8系统环境下，通过Windows资源管理器访问HP Z230的共享目录，将文件拷贝到指定目录下。但就是这种操作，如果走的是万兆网卡，曲线波动幅度会非常大，传输速度在35~198 MB/s之间反复波动，且大部分时间维持在30 MB/s左右，详见下图：

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 hdd copy to gen8 hdd).JPG (247.04 KB, 下载次数: 0)

2021-2-23 23:49 上传

如果换成走千兆网卡，则传输速度表现得又非常平稳，基本跑满了千兆带宽，详见下图：

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 hdd copy to gen8 hdd) (2).JPG (234.96 KB, 下载次数: 0)

2021-2-23 23:50 上传

而且如果将Supermicro AOC-STG-I2T万兆网卡降速协商为千兆模式，对拷文件时立刻就能像上面一样跑满1.0 Gbps，且速度稳定曲线平滑笔直，详见下图：

ProLiant MicroServer Gen8 - Supermicro AOC-STG-I2T (z230 hdd copy to gen8 hdd) (3).JPG (234.03 KB, 下载次数: 0)

2021-2-23 23:53 上传

以上这种情况大家有没有遇到过，是否可以确定和网卡链路无关，是HP Dynamic Smart Array B120i Controller驱动兼容性问题？