NVMe of RDMA(Soft-RoCE)环境搭建九：NVMe of RDMA(Soft-RoCE)性能测试

1.测试内容

对比测试本地 NVMe SSD 和 NVMe over RoCE SSD之间的顺序/随机性能

2.测试方法

将 NVMe SSD 全盘顺序写2遍后，使用 fio 测试工具

顺序写：

fio --iodepth=128 --numjobs=4 --size=10GB --norandommap --readwrite=write --bs=128k  --filename=/partition1/write.txt --runtime=1200 --time_based --ioengine=libaio --direct=1 --group_reporting --name=write

顺序读：

fio --iodepth=128 --numjobs=4 --size=10GB --norandommap --readwrite=read --bs=128k  --filename=/partition1/write.txt --runtime=120 --time_based --ioengine=libaio --direct=1 --group_reporting --name=read

随机写：

fio --iodepth=128 --numjobs=4 --size=10GB --norandommap --readwrite=randwrite --bs=4k --runtime=1200 --time_based --filename=/partition1/randwrite.txt --ioengine=libaio --direct=1 --group_reporting --name=rand_write

随机读：

fio --iodepth=128 --numjobs=4 --size=10GB --norandommap --readwrite=randread --bs=4k --runtime=300 --time_based --filename=/partition1/randwrite.txt --ioengine=libaio --direct=1 --group_reporting --name=rand_read

注意：由于我们在虚拟机中进行测试，配置虚拟机中的NVMe磁盘设置容量较小，因此我们这里的测试size设置为10GB

3.测试结果

I/O类型	Local NVMe SSD	NVMe over RoCE SSD
顺序写 (MB/s)	152	58.2
顺序读 (MB/s)	519	603
随机写 (IOPS)	1122	1183
随机读 (IOPS)	95.6k	66.0k

重要：

由于测试环境限制以及相关环境影响较大，以上测试数据仅作为本文档测试流程输出中的一个组成部分，不代表NVMe相关硬件的实际性能，如要获取实际框架的性能，可以参考该文档在实际硬件上进行精确测试

参考资料
1.HOWTO CONFIGURE NVME OVER FABRICS
2.NVMe over RoCE 初探
3.RDMA之RoCE & Soft-RoCE