Xilinx ZYNQ Ultrascale+ 性能测试之 PL/PS PCIe Root Port NVMe

最新推荐文章于 2024-09-19 17:49:24 发布
最新推荐文章于 2024-09-19 17:49:24 发布
阅读量6.5k 收藏 35
点赞数 12
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/justdemo/article/details/115535189
版权
本文介绍了使用XilinxZYNQUltrascale+平台进行NVMe SSD性能测试的过程及结果。测试涵盖了不同PCIe速度与宽度配置下的三星970 EVO Plus等三款NVMe M.2硬盘，并详细记录了写入速度等关键性能指标。
摘要由CSDN通过智能技术生成

Xilinx ZYNQ Ultrascale+ PL/PS PCIe Root Port NVMe 性能测试

Xilinx MPSOC

Xilinx MPSoc 为 XCZU4EV-SFVC784AAZ
8G DDR4 * 4
PL 端通过 M.2 形式导出 x4 PCIe
PS 端通过 M.2 形式导出 x2 PCIe

NVMe M.2 盘

我们手上一共有3个，都支持 PCIe Gen3 x4
A. SAMSUNG 250GB 970 EVO Plus
B. Western Digital 500GB Blue SN550
C. 爱国者 128GB P2000
全部格式化为 EXT4 格式

DD测试，写入速度大概135MByte/s，读取速度350MByte/s
写入的瓶颈主要是因为占满了一个单核，top显示CPU占用率 25%
time dd if=/dev/zero of=./write_tmp bs=2M count=5000
time dd if=/dev/nvme0n1p1 of=/dev/null bs=2M count=5000

PL 8G PCIe x4

测试结果如下：
A. SAMSUNG 250GB 970 EVO Plus
浮动值比较大，写入速度在 420~500 MByte/s 之间

B. Western Digital 500GB Blue SN550
比较稳定，写入速度在 450MByte/s 左右

C. 爱国者 128GB P2000
写入速度稳定在 100MByte/s 左右

lspci 显示信息分别如下

00:00.0 PCI bridge: Xilinx Corporation Device 9134 (prog-if 00 [Normal decode])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM not supported
LnkSta: Speed 8GT/s (ok), Width x4 (ok)

01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981 (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
LnkSta: Speed 8GT/s (ok), Width x4 (ok)

01:00.0 Non-Volatile memory controller: Sandisk Corp Device 5009 (rev 01) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 8GT/s (ok), Width x4 (ok)

01:00.0 Non-Volatile memory controller: Silicon Motion, Inc. Device 2263 (rev 03) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 8GT/s (ok), Width x4 (ok)

PS 5G PCIe x2

测试结果如下：
A. SAMSUNG 250GB 970 EVO Plus
写入速度稳定在 420MByte/s 左右

B. Western Digital 500GB Blue SN550
PS 端不支持这个磁盘，会反复提示
nvme nvme0: I/O 8 QID 0 timeout, completion polled
nvme nvme0: I/O 9 QID 0 timeout, completion polled

C. 爱国者 128GB P2000
写入速度稳定在100MByte/s 左右

lspci 显示信息分别如下

0001:00:00.0 PCI bridge: Xilinx Corporation Device d024 (prog-if 00 [Normal decode])
LnkCap: Port #0, Speed 5GT/s, Width x2, ASPM not supported
LnkSta: Speed 5GT/s (ok), Width x2 (ok)

0001:01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981 (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
LnkSta: Speed 5GT/s (downgraded), Width x2 (downgraded)

0001:01:00.0 Non-Volatile memory controller: Silicon Motion, Inc. Device 2263 (rev 03) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 5GT/s (downgraded), Width x2 (downgraded)

PL 8G PCIe x1

测试结果如下：
A. SAMSUNG 250GB 970 EVO Plus
写入速度稳定在 430MByte/s 左右

B. Western Digital 500GB Blue SN550
写入速度稳定在 435MByte/s 左右

C. 爱国者 128GB P2000
写入速度稳定在 60MByte/s 左右

lspci 显示信息分别如下

00:00.0 PCI bridge: Xilinx Corporation Device 9131 (prog-if 00 [Normal decode])
LnkCap: Port #0, Speed 8GT/s, Width x1, ASPM not supported
LnkSta: Speed 8GT/s (ok), Width x1 (ok)

01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981 (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
LnkSta: Speed 8GT/s (ok), Width x1 (downgraded)

01:00.0 Non-Volatile memory controller: Sandisk Corp Device 5009 (rev 01) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 8GT/s (ok), Width x1 (downgraded)

01:00.0 Non-Volatile memory controller: Silicon Motion, Inc. Device 2263 (rev 03) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 2.5GT/s (downgraded), Width x1 (downgraded)

PL 2.5G PCIe x1

测试结果如下：
A. SAMSUNG 250GB 970 EVO Plus
写入速度稳定在 148MByte/s 左右

这个时候用DD测试读取速度
time dd if=/dev/nvme0n1p1 of=/dev/null bs=2M count=5000
测出来读取数据为200MByte/s，这个 200MByte/s 应该就是 2.5G x1 PCIe总线的瓶颈了。

B. Western Digital 500GB Blue SN550
写入速度稳定在 160MByte/s 左右

C. 爱国者 128GB P2000
写入速度稳定在 60MByte/s 左右

lspci 显示信息分别如下

0000:00:00.0 PCI bridge: Xilinx Corporation Device 9111 (prog-if 00 [Normal decode])
LnkCap: Port #0, Speed 2.5GT/s, Width x1, ASPM not supported
LnkSta: Speed 2.5GT/s (ok), Width x1 (ok)

0000:01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981 (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
LnkSta: Speed 2.5GT/s (downgraded), Width x1 (downgraded)

0000:01:00.0 Non-Volatile memory controller: Sandisk Corp Device 5009 (rev 01) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 2.5GT/s (downgraded), Width x1 (downgraded)

0000:01:00.0 Non-Volatile memory controller: Silicon Motion, Inc. Device 2263 (rev 03) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 2.5GT/s (downgraded), Width x1 (downgraded)

PS 2.5G PCIe x1

测试结果如下：
A. SAMSUNG 250GB 970 EVO Plus
写入速度稳定在 166MByte/s 左右

B. Western Digital 500GB Blue SN550
不支持

C. 爱国者 128GB P2000
写入速度在 60MByte/s 左右

PS 5G PCIe x1

测试结果如下：
A. SAMSUNG 250GB 970 EVO Plus
写入速度稳定在 295MByte/s 左右

这个时候用DD测试，写入速度仍然为135MByte/s 左右

B. Western Digital 500GB Blue SN550
不支持

C. 爱国者 128GB P2000
写入速度在 80MByte/s 左右，DD测试结果差不多，为80MByte/s 左右

lspci 显示信息分别如下

0001:00:00.0 PCI bridge: Xilinx Corporation Device d024 (prog-if 00 [Normal decode])
LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM not supported
LnkSta: Speed 5GT/s (ok), Width x1 (ok)

0001:01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981 (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
LnkSta: Speed 5GT/s (downgraded), Width x1 (downgraded)

0001:01:00.0 Non-Volatile memory controller: Silicon Motion, Inc. Device 2263 (rev 03) (prog-if 02 [NVM Express])
LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us
LnkSta: Speed 5GT/s (downgraded), Width x1 (downgraded)

测试代码如下

void * g_buffer0 = 0;
void * g_buffer1 = 0;
void * g_buffer2 = 0;

const int mem_size = 1024 * 1024;
const int write_count = 1024;

void write_file(void * dat, int d){
	char buffer[128];
	snprintf(buffer, sizeof(buffer), "file%d.dat", dat);

	int fd = open(buffer, O_WRONLY | O_CREAT | O_TRUNC | O_DIRECT, 0777);
	if(fd == -1)return;

	for(int i = 0; i < write_count; i++) {
		ssize_t written = write(fd, dat, mem_size);
	}

	close(fd);
}

int main(){
	g_buffer0 = aligned_alloc(4096, mem_size); // 1M
	g_buffer1 = aligned_alloc(4096, mem_size); // 1M
	g_buffer2 = aligned_alloc(4096, mem_size); // 1M

	memset(g_buffer0, mem_size, 0);
	memset(g_buffer1, mem_size, 1);
	memset(g_buffer2, mem_size, 2);

	time_t b = time(0);

	for(int i = 0; i < 10; ++i){
		write_file(g_buffer0, 0);
		write_file(g_buffer1, 1);
		write_file(g_buffer2, 2);
	}

	system("sync");

	time_t e = time(0);

	time_t d = e - b;

	int speed = 30 * write_count / d;
	printf("Speed:%d MByte/s\n", speed);

	free(g_buffer0);
	free(g_buffer1);
	free(g_buffer2);

	return 0;
}
justdemo
关注
ZYNQ petalinux中PCIE读写NVME固态硬盘
wangjie36的博客
08-21 1万+
调用AXI Memory Mapped To PCI Express IP核，对7 Series Integrated Block for PCI Express进一步封装，使用Example Design直接运行，但需要添加DMA IP核实现DMA数据传输。 PCIE采用了全双工的传输设计，即允许在同一时刻，同时进行发送和接收数据。如下图所示，设备A和设备B之间通过双向的Link相连接，每个Link支持1到32个通道（Lane）。由于是串行总线，因此所有的数据（包括配置信息等）都是以数据包为单位进行发送的
Software Defined Radio with Zynq Ultrascale+ RFSoC
06-08
《Software Defined Radio with Zynq Ultrascale+ RFSoC》一书深入介绍了Xilinx公司推出的Zynq Ultrascale+ RFSoC这一革命性技术。该技术为市场带来了真正意义上的单芯片软件定义无线电(SDR)解决方案。相较于传统...
zynq下pcie nvme硬盘接口实现
04-19
zynq7035下pcie nvme硬盘接口实现，包括硬件设计软件设计，用于各种工程项目，放心使用（已工程验证）。
Xilinx Zynq UltraScale+ MPSoC ZCU106-硬件开发文档类资源--完整版.zip
09-14
Xilinx Zynq UltraScale+ MPSoC ZCU102开发板的最新PCB、原理图、BOM单、约束文件（XDC）以及板卡硬件设计指导书等，对于硬件设计有很大的参考价值。本博客文章”Zynq Ultrascale+ MPSOC硬件开发之与Zynq7000芯片资源对比说明及开发资料介绍“内有资源详细介绍以及免费下载方式。
pcie基础总结
最新发布
qq_39435967的博客
09-19 819
pcie基础知识工具等总结
显卡Pcie速率
weixin_43902205的博客
06-29 1445
我以为是板子有问题，pcie没有正常协商到pcie 3.0 x16 ，然后各种找方法修改，还找了卖家看看bios有没要改的，后来找了一圈没找到。随手记录下，因为自己瞎折腾的机器，担心pcie速率不对以后性能不行，就想着查了下速率。看起来是没负载的时候自动降速了，于是试了下，压力上去后，速度显示就正常了。sudo lspci -vv 发现速率没满，还显示了downgrade。
zynq/nvme/ext4/fpga高速存储设计
Herok
11-15 1万+
1.概述 很久没有写文章了，有空余时间还是分享一点技术干货。今天写一下zynq+nvme高速存储设计思想，zynq处理器是将ARM和FPGA集成在一起的处理器，区别于以前ARM+FPGA的板间架构，采用AXI内部总线实现ARM和FPGA内部的通讯，支持低速AXI-GP接口（类型Local Bus），高速AXI-HP接口，ARM端简称PS，FPGA端简称PL。如果数据过PS端，那么数据会经过HP接口，软件上的数据解析和拷贝，这样存储速率大约为130MB/s，速率比较慢，所以就引入了本文方案，控制走PS，数据P
在pcie设备中找到pcie的root port
热门推荐
jason的笔记
10-25 1万+
pcie 设备是通过一种树状的方式连接在root port上，有时候需要知道自己连在哪个root port上就可以通过pcie_find_root_port来找到root port。 例如下例就是找到root port，然后判断root port是否支持aer功能 struct pci_dev *dev, *rpdev; dev = pci_get_domain_bus_and_slot(ei
zynq nvme高速存储之ext4文件系统
Herok
04-20 1320
前面文章分析了高速存储的各种方案，目前主流的三种存储方案是，pcie + switch高速存储方案，zynq高速存储方案，fpga高速存储方案。虽然三种高速存储方案都可以实现高速存储，但是fpga高速存储方案是最烂的，fpga存储方案在速度上没有前两种高，对于Error Handler上处理也不友好，同时fpga高速存储方案不支持标准的EXT4文件，不能够支持NFS文件系统等，所以有读者向我咨询高速存储方案，我会毫不犹豫的推荐前面两种。对于pcie + switch高速存储方案硬件框图如下。
ZYNQ+NVMe 小型化全国产存储方案
weixin_42549375的博客
12-04 5588
ZYNQ + NVMe 高速存储
【存储】ZYNQ+NVMe小型化全国产存储解决方案
Crazzy_M的博客
03-11 1101
按照本文方式处理，使用ZYNQ标准的文件系统下可以达到2GB/s的存储带宽。该方案的文件系统采用标准的Linux内核系统，移植性好，成本低，运行也稳定。通过PCIE核的更换，PCIe核的增加，也能够适应不同的存储带宽核存储容量的需求。
《ZYNQ修炼秘籍》PCIE专辑
04-10
CH01 PIO Demo 的分析和测试、CH02 DMA 传输设计、CH03 基于MFC 上位机编写。
基于ZYNQMP的PS端PCIE2.0x4接口功能及SSD速度测试
03-24
本文基于zynqmp的ps端pcie2.0 x4接口功能和SSD速度测试，其中pcie2.0x4的接口上连接ssd为nvme接口的ssd盘。本文设计vivado的pcie配置、uboot设备树修改、kernel源码修改以及基于dd命令进行NVMe的ssd读写速度的测试。本文所有内容均亲测可行，并在自设计的板卡上验证通过的。本文所涉及的uboot和kernel源码均基于xilinx官方提供的源码移植和开发。
Xilinx Zynq UltraScale+ MPSOC XCZU4EV 核心板原理图
07-10
【Xilinx Zynq UltraScale+ MPSOC XCZU4EV 核心板原理图】是基于Xilinx公司的Zynq UltraScale+多处理器系统级芯片（MPSOC）的电路设计，主要用于嵌入式系统开发。这个核心板集成了处理器系统（PS）和可编程逻辑（PL...
使用Zynq UltraScale+MPSOC管理电源和性能的教程
07-07
使用zynq UltraScale+mpsoc，设计者不仅可以使用上述技术，而且可以通过C到HDL工具将软件任务转移到可编程逻辑（pl）。将软件任务转移到协处理器上不仅展示了更高的性能处理，而且还展示了更高的每瓦性能。
Zynq UltraScale+ RFSoC
04-04
Zynq® UltraScale+™ RFSoC 在 SoC 架构中集成数千兆采样 RF 数据转换器和软判决前向纠错 (SD-FEC)。 配有 ARM® Cortex®-A53 处理子系统和 UltraScale + 可编程逻辑，该系列是业界唯一单芯片自适应射频平台。 ...
zynq下PCIE NVMe硬盘接口实现
gitblog_09820的博客
09-05 499
zynq下PCIE NVMe硬盘接口实现 fpga_nvme.zip项目地址:https://gitcode.com/open-source-toolkit/d6cb5 项目简介 本项目专注于实现Zynq 7035 SoC平台下的PCIe NVMe硬盘接口。通过结合硬件设计与软件驱动的双重优化，本资源包提供了在嵌入式系统中高效接入NVMe固态硬盘的完整解决方案。适用于需要高速数据存储与交换的各类...
zynq - ps端的pcie ep功能测试
sy84436446的博客
11-07 3543
zynq的pcie使用
Zynq_Mp----测试SSD读写文件的速度
CLL的博客
01-25 2638
在使用SSD时，首先由Linux系统识别/dev/sda设备文件节点，以下是测试步骤。 挂载/dev/sda ① mkfs.vfat-F 32/dev/sda ② mount /dev/sda /mnt ③ cd /mnt 进入mnt目录，相当于进入SSD目录 测试时...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值