Xilinx QDMA说明和测试

已于 2023-05-19 10:55:28 修改
阅读量4.9k 收藏 41
点赞数 31
分类专栏： # XIlinx DMA说明和测试 文章标签： fpga开发
于 2023-02-25 16:54:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43956013/article/details/128517966
版权

Xilinx QDMA说明和测试

1 测试工程

使用QDMA的Example工程，该工程可从Github下载，使用的FPGA板卡为浪潮的F37X加速器，运行工程目录下的run.sh执行run.tcl即可完成工程的创建和编译。
在这里插入图片描述

2 驱动安装

本节主要介绍QDMA驱动的源文件、编译和安装过程。

2.1 源文件说明

1.下载地址：DMA驱动下载
2.文件说明

文件说明
apps应用文件
docs说明文件
driver驱动源文件
scripts脚本文件
RELEASE版本说明
Makefile.txtMakefile
bsd_license.txt证书
COPYING权限
license.txt证书

2.2 驱动编译安装

1.依赖库安装：QDMA驱动依赖于libaio，所以在编译驱动前需要安装该库。

sudo apt-get install libaio-dev

2.驱动编译
2.1 执行make clean && make命令完成驱动文件的编译，在文件夹会生成bin文件夹，里面包含下述文件。如果需要添加新设备，可以在driver/src/pci_ids.h文件中添加。

文件说明
dma-ctlQDMA的控制和配置应用程序
dma-to-device执行MM或ST模式的host-to-card的传输事务
dma-from-device执行MM或ST模式的card-to-host的传输事务
dma-perf测量QDMA的性能
qdma-pf.koPF驱动
qdma-vf.koVF驱动
dma-latency测量ST H2C/C2H传输的乒乓延时
dma-xfer说明QDMA传输的简单应用

2.2 如果只需要PF驱动可以执行make driver MODULE=mod_pf
2.3 如果只需要VF驱动可以执行make driver MODULE=mod_vf
2.4 如果要启用CPM5的VF 4K队列，执行make EQDMA_CPM5_VF_GT_256Q_SUPPORTED=1

3.驱动安装
3.1 执行sudo make install安装驱动和应用程序，执行完该命令后在/user/local/sbin文件下生成dma-ctl、dma-to-device等应用程序，在/lib/modules/<kernel version>/qdma文件夹下生成qdam-pf.ko和qdma-vf.ko驱动程序。
3.2 如果只安装驱动程序，可以执行sudo make install-mods
3.3 如果只安装应用程序，可以执行sudo make install-apps
3.4 如果需要卸载驱动和应用程序，可以执行sudo make uninstall

4.驱动加载
4.1 下载FPGA程序，执行lspci -vd <vendor id>找到设备的BDF号。
4.2 在加载驱动前需要生成一个qdma.conf文件放到/etc/modprobe.d文件夹下，用于参数传递。在scripts文件夹下有一个qdma_generate_conf_file.sh脚本，辅助生成配置文件。执行下述命令，脚本会自动在/etc/modprobe.d文件夹下生成qdma.conf文件。

sudo ./qdma_generate_conf_file.sh <bus_num> <num_pfs> <mod> <config_bar> <master_pf>
参数说明
bus_numBDF中的B
num_pfsPF支持的数量，默认为4
mod驱动的模式，默认为0
0-Auto；1-Poll；2-Direct Interrupt
3-Indirect Interrupt; 4-Legacy Interrupt
config_bar配置的BAR空间
master_pf主PF

4.3 执行sudo modprobe qdma-pf加载PF驱动，执行sudo modprobe qdma-vf加载VF驱动。由于在/lib/modules/<kernel version>/qdma文件夹下有qdam-pf.ko和qdma-vf.ko驱动程序，所以系统在启动时会自动加载这两个驱动。如果不需要开机加载这两个驱动，可以在/etc/modprobe.d/blacklist.cof文件中添加blacklist qdma-pf和blacklist qdma-vf语句。
5.修改qmax
执行下述命令修改最大队列数，安装驱动后默认的qmax是0，在执行测试脚本时出现错误，提示“unable to open device /dev/qdma82000-MM-0”。重启系统后这个值会恢复为0。

cat /sys/bus/pci/devices/0000:01:00.0/qdma/qmax   // 显示qmax
echo 8 > /sys/bus/pci/devices/0000:01:00.0/qdma/qmax   // 设置qmax为8

6.设置VF数量

cat /sys/bus/pci/devices/0000:01:00.0/sriov_totalvfs   // 显示每个PF的VF数量
echo 3 > /sys/bus/pci/devices/0000:01:00.0/sriov_numvfs   // 设置每个PF的VF数量为1024

3 调试工具

3.1 设备管理

应用dma-ctl用于管理驱动，可以实现下述功能，通过命令dma-ctl -h可查看帮助文件。

  • 列出设备信息
dma-ctl dev list        // 列出系统可使用的PF和VF，以及每个function的queue base和queue max
dma-ctl qdma<bdf> cap   // 列出硬件和软件的版本信息
dma-ctl qdma<bdf> stat  // 列出数据统计信息
  • 添加一个或多个队列
dma-ctl qdma<bdf> q add idx <N> [mode <st|mm>] [dir <h2c|c2h|bi|cmpt>]   // N-队列编号
dma-ctl qdma<bdf> q  add list <start_idx> <num_Qs> [mode <st|mm>] [dir <h2c|c2h|bi|cmpt>]
  • 开始一个或多个队列
dma-ctl qdma<bdf> q start idx <N> [dir <h2c|c2h|bi|cmpt>]
dma-ctl qdma<bdf> q start list <start_idx> <num_Qs> [dir <h2c|c2h|bi|cmpt>]
  • 暂停一个或多个队列
dma-ctl qdma<bdf> q stop idx <N> [dir <h2c|c2h|bi|cmpt>]
dma-ctl qdma<bdf> q stop list <start_idx> <num_Qs> [dir <h2c|c2h|bi|cmpt>]
  • 删除一个或多个队列
dma-ctl qdma<bdf> q del idx <N> [dir <h2c|c2h|bi|cmpt>]
dma-ctl qdma<bdf> q del list <start_idx> <num_Qs> [dir <h2c|c2h|bi|cmpt>]
  • 输出一个或多个队列信息
dma-ctl qdma<bdf> q dump idx <N> [dir <h2c|c2h|bi|cmpt>]
dma-ctl qdma<bdf> q dump list <start_idx> <num_Qs> [dir <h2c|c2h|bi|cmpt>]
  • 输出一个或多个队列描述符信息
dma-ctl qdma<bdf> q dump idx <N> [dir <h2c|c2h|bi|cmpt>] [desc <x> <y>]   // <x>-range start;<y>-range end
dma-ctl qdma<bdf> q dump list <start_idx> <num_Qs> [dir <h2c|c2h|bi|cmpt>] [desc <x> <y>]
  • 输出一个或多个队列完成信息
dma-ctl qdma<bdf> q dump idx <N> [dir <h2c|c2h|bi|cmpt>] [cmpt <x> <y>]
dma-ctl qdma<bdf> q dump list <start_idx> <num_Qs> [dir <h2c|c2h|bi|cmpt>] [cmpt <x> <y>]

输出中断信息

dma-ctl qdma<bdf> intring dump vector <N> <start_idx> <end_idx>

3.2 数据读写

  • 读寄存器
dmactl qdma<bdf> reg read bar <N> <addr>   // N-Bar号；addr-地址
  • 写寄存器
dmactl qdma<bdf> reg write bar <N> <addr>
  • 输出队列寄存器
dmactl qdma<bdf> reg dump [dmap <Q> <N>]   // Q-队列号；N-队列数量
  • 写入数据
dma-to-device [OPTIONS]
-d (--device) device path from /dev. Device name is formed as qdmabbddf-<mode>-<queue_number>
-a (--address) the start address on the AXI bus
-s (--size) size of a single transfer in bytes, default 32 bytes
-o (--offset) page offset of transfer
-c (--count) number of transfers, default 1
-f (--data input file) filename to read the data from.
-w (--data output file) filename to write the data of the transfers
-h (--help) print usage help and exit
-v (--verbose) verbose outpu
  • 读出数据
dma-from-device [OPTIONS]
-d (--device) device path from /dev. Device name is formed as qdmabbddf-<mode>-<queue_number>
-a (--address) the start address on the AXI bus
-s (--size) size of a single transfer in bytes, default 32 bytes.
-o (--offset) page offset of transfer
-c (--count) number of transfers, default is 1.
-f (--file) file to write the data of the transfers
-h (--help) print usage help and exit
-v (--verbose) verbose output

4 测试分析

4.1 测试脚本

执行脚本qdma_run_test_pf.sh完成对PF的测试，执行命令如下，整个测试流程包括获取设备、设置复位、h2c和c2h的mm接口测试、h2c的st接口测试和c2h的st接口测试。

sudo ./qdma_run_test_pf.sh <bdf> <qid_start> <num_qs> <desc_bypass_en> <pfetch_en> <pfetch_bypass_en> <flr_on>
参数说明
bdf设备的BDF号
qid_start队列的起始ID
num_qs从qid_start开始的队列数量，默认为04
desc_bypass_en使能描述符旁路，默认为0
pfetch_en使能预取，默认为0
pfetch_bypass_en使能预取旁路，默认为0
flr_on启用function level reset，默认为0
  • 获取设备：get_dev
    执行dma-ctl dev list获取设备信息。
  • 设置复位：set_flr
    如果设置了function level reset，则对修改系统中的reset文件对PCIe设备进行复位。
  • MM测试：run_mm_h2c_c2h
    1.找到AXI Lite的bar空间：get_user_bar
    2.设置设备：dev_mm_c2h、dev_mm_h2c、out_mm
    3.开始队列传输：queue_start，执行dma-ctl q add、dma-ctl q start
    4.传输数据到FPGA：dma_to_device
    5.从FPGA中取出数据：dma_from_device
    6.比较两个文件的内容是否相等，结束测试。
    7.清理队列：cleanup_queue，执行dma-ctl q stop、dma-ctl q del
  • H2C测试
    1.找到AXI Lite的bar空间：get_user_bar
    2.设置设备：dev_st_h2c
    3.开始队列传输：queue_start，执行dma-ctl q add、dma-ctl q start
    4.传输数据到FPGA：dma_to_device
    5.读取FPGA的数据对比结果dma-ctl reg read，结束测试。
    6.清理队列：cleanup_queue，执行dma-ctl q add、dma-ctl q start
  • C2H测试
    1.找到AXI Lite的bar空间：get_user_bar
    2.设置设备：dev_st_c2h、out_st
    3.开始队列传输：queue_start，执行dma-ctl q add、dma-ctl q start
    4.传输数据到FPGA：dma_from_device
    5.比较两个文件的内容是否相等，结束测试。
    6.清理队列：cleanup_queue，执行dma-ctl q add、dma-ctl q start

4.2 测试结果

  • 查看PCIe设备
    在这里插入图片描述
  • 查看驱动加载情况
    在这里插入图片描述
  • 查看驱动绑定的设备信息， 如果qmax为0，则需要设置非零的qmax，否则无法找到设备。
    在这里插入图片描述
  • 测试结果
    在这里插入图片描述
test_mm)
    dma-ctl qdma82000 q add idx 0 mode mm dir bi
    dma-ctl qdma82000 q start idx 0 dir bi
    dma-to-device -d /dev/qdma82000-MM-0 -f datafile_16bit_pattern.bin -s 1024
    dma-from-device -d /dev/qdma82000-MM-0 -f /tmp/out_mm82000_0 -s 1024
    cmp /tmp/out_mm82000_0 datafile_16bit_pattern.bin -n 1024
    dma-ctl qdma82000 q stop idx 0 dir bi
    dma-ctl qdma82000 q del idx 0 dir bi
  ;;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  test_st_h2c)
    dma-ctl qdma82000 q add idx 0 mode st dir bi
    dma-ctl qdma82000 q start idx 0 dir bi
    dma-ctl qdma82000 reg write bar 2 0x0C 0x1
    dma-to-device -d /dev/qdma82000-ST-0 -f datafile_16bit_pattern.bin -s 1024
    dma-ctl qdma82000 reg read bar 2 0x10
    dma-ctl qdma82000 q stop idx 0 dir bi
    dma-ctl qdma82000 q del idx 0 dir bi
  ;;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  test_st_c2h)
    dma-ctl qdma82000 reg write bar 2 0x0 0x0
    dma-ctl qdma82000 q add idx 0 mode st dir bi
    dma-ctl qdma82000 q start idx 0 dir bi
    dma-ctl qdma82000 reg write bar 2 0x4 1024
    dma-ctl qdma82000 reg write bar 2 0x08 2
    dma-from-device -d /dev/qdma82000-ST-0 -f /tmp/out_st82000_0 -s 1024
    cmp /tmp/out_st82000_0 datafile_16bit_pattern.bin -n 1024
    dma-ctl qdma82000 reg write bar 2 0x08 0x22
    dma-ctl qdma82000 q stop idx 0 dir bi
    dma-ctl qdma82000 q del idx 0 dir bi
  ;;

在这里插入图片描述
在这里插入图片描述

ཌ斌赋ད
关注
  • 31
    点赞
  • 踩
  • 41
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
EDMA/QDMA使用文档
10-18
EDMA/QDMA使用文档 详细的说明，初学者的好教材
Xilinx FPGA上QDMA的说明文档
02-14
Xilinx FPGA上QDMA的说明文档
推荐使用Xilinx DMA IP参考驱动程序：高性能PCIe QDMA与XVSEC
最新发布
gitblog_00033的博客
05-22 430
推荐使用Xilinx DMA IP参考驱动程序：高性能PCIe QDMA与XVSEC 项目地址:https://gitcode.com/Xilinx/dma_ip_drivers 1、项目介绍 Xilinx DMA IP Reference Drivers是一个开源项目，专注于提供针对Xilinx UltraScale+设备的高效率直接存储器访问（DMA）解决方案。该项目包括两个核心部分：Xil...
Xilinx FPGA 多通道PCIe QDMA&RDMA IP，V4L2
02-23
基于PCI Express Integrated Block，Multi-Channel PCIe QDMA Subsystem实现了使用DMA地址队列的独立多通道、高性能Continous或Scather Gather DMA，提供FIFO/AXI4-Stream用户接口。 基于PCI Express Integrated Block，Multi-Channel PCIe RDMA Subsystem实现了使用DMA Ring缓冲的独立多通道、高性能/超低延时/超低抖动Continous Ring DMA，提供FIFO/AXI4-Stream用户接口。
TI 6713 QDMA代码例程.rar
09-06
TI 6713 QDMA代码例程 TI 6713 QDMA代码例程
开发者分享｜QDMA与driver的问题定位和分析
qq_43416206的博客
08-01 289
因为操作不当导致IP发生丢包时，C2H_DROP_DESC_RSP_LEN，C2H_DROP_QID_FIFO_LEN和C2H_DROP_PLD_CNT 三个寄存器的数值分别为在IP丢包时：描述符的长度、Qid Fifo中的包长和负载Fifo 0中的信用值。当发现QDMA_C2H_STAT_DEBUG_DMA_ENG_3的3,4,5比特为高时，可以去查找与丢包相关的寄存器，例如：C2H_DROP_DESC_RSP_LEN，C2H_DROP_QID_FIFO_LEN和C2H_DROP_PLD_CNT。
dma_ip_drivers:Xilinx QDMA IP驱动程序
05-17
Xilinx DMA IP参考驱动程序 赛灵思QDMA Xilinx PCI Express多队列DMA（QDMA）IP通过PCI Express提供了高性能的直接内存访问（DMA）。 可以在UltraScale +设备中实现PCIe QDMA。 linux内核驱动程序和DPDK驱动程序都可以在PCI Express根端口主机PC上运行，以通过PCI Express与QDMA端点IP交互。 入门 Xilinx-VSEC（XVSEC） Xilinx-VSEC（XVSEC）是Xilinx支持的VSEC。 XVSEC驱动程序有助于创建和部署可能包含Xilinx VSEC PCIe功能的设计。 VSEC（特定于供应商的扩展功能）是PCIe的功能。 VSEC本身在FPGA硬件（作为软IP或硬IP）中的PCIe扩展功能寄存器中实现。 创建了驱动程序和软件以与该硬件实现的功能接口并使用该功能。
Xilinx qdma
weixin_45618734的博客
04-21 1444
CIDX 是在descriptor ring 的最后一个 descriptor 即 status_descriptor里面，它蕴含的是上一个已经被 hardware 读取的描述符信息，也就是说，hradware 每从host这边读取一个描述符，CIDX都要相应的增加，CIDX(copy)是在host这边。同样的，context里面stores properties of queue，比如 BADDR，SW CIDX (copy) , PIDX and depth of queue。
Xilinx的两款FPGA平台xdma和qdma
热门推荐
乐于分享
07-28 1万+
之前使用过xdma和qdma,但是未对其流程梳理，今天对其DMA操作流程梳理下，以备记录。 首先说一下流式DMA映射和一致性DMA映射： 流式DMA映射：缓冲区来自叫上层的比如，kmalloc,__get_free_pages 等申请的，一般使用流式DMA映射，流式DMA映射大多进行cache的使无效或清楚操作，以解决cache的一致性问题， 接口较为复杂。 xmda使用流式dma映射： dma_map_single(dev, addr, size, direction); d...
PG302 QDMA Subsystem for PCI Express v4.0 Ch.2 Overview
AlwaysHard的博客
08-07 2324
PG302 QDMA-2022 Ch.2 Translation
pg302-qdma_pciegen3_Xilinx_QDMA_
09-29
pcie ultrascale gen3 user guide
Xilinx_Answer_71453_QDMA_Performance_v6_QDMA_pcie_驱动_
09-30
5. **故障排查**：提供了常见问题和错误代码的解析，帮助开发者识别和解决在驱动开发和测试过程中遇到的问题。 6. **实例分析**：可能包含具体的QDMA PCIe设计案例，分析其设计要点和性能瓶颈，为读者提供实践指导...
Multi-Channel PCe QDMA&RDMA Subsystem
weixin_42144870的博客
12-24 854
基于PCI Express Integrated Block，Multi-Channel PCIe QDMA&RDMA Subsystem实现了使用DMA地址队列和DMA Ring缓冲的独立多通道、高性能Continous或Scather Gather DMA，提供FIFO/AXI4-Stream用户接口。
【xilinx】 cpm QDMA 2个PF
oldmoney
12-28 486
address editor应该和bar设置中 pcie to AXI translation 保持一致；axi bridge master 对应的interface是 cpm_pcie_noc_0;cpm_pcie_noc_0对于 PF0 PF1 是共用的；cpm_pcie_noc_0 连接到NOC；然后NOC 连接一个bram。
QDMA应用实例
左超
10-29 3123
1．  把数据从视频通道通过一维方式传送到片内RAM中并作Sobel边缘提取算法。我们只对摄像头采集的一块数据进行Sobel边缘提取。采用一维EDMA传送方式，每一次传送采集的一行中的部分数据（DAT_copy（）函数）。在PAL制式下，先把一行数据放到nMemTemp数组中，比如我们要把从144行到432行，从180列到435列的图像进行Sobel边缘提取，最后把变换后的数据输出到显示缓冲区。 
QDMA 中断
六六哥的博客
06-02 1592
QDMA Interrupt 相关内容 Interrupt Module The IRQ module aggregates interrupts from various sources into the PCIe® integrated block core interface. The interrupt sources are queue-based interrupts, user interrupts and error interrupts. Queue-based interr.
小梅哥Xilinx FPGA学习笔记7——参数化设计及模块重用设计不同频率的流水灯（跑马灯）
weixin_42454243的博客
12-29 3119
参数化设计及模块重用设计流水灯〇、功能介绍1.功能描述一、代码编写1.设计文件2.激励文件3.仿真图二、总结 〇、功能介绍 1.功能描述 8个Led灯分别以不同频率循环闪烁,led[0]0.1ms亮一次；led[1]0.2ms亮一次；led[2]0.3ms亮一次依次类推 一、代码编写 1.设计文件 设计文件共两个，先设计一个led灯的功能led_flash_1_run；在另外一个设计文件led_flash_8中例化8次led_flash_1_run模块 `timescale 1ns / 1ns module
Multi-Channel PCIe QDMA Subsystem
weixin_42144870的博客
11-03 1075
可交付资料： 详细的用户手册 Design File：Post-synthesis EDIF netlist or RTL Source Timing and layout constraints，Test or Design Example Project 技术支持：邮件，电话，现场，培训服务 联系方式： Email：neteasy163z@163.com 1 介绍 基于PCI Express Integrated Block，Multi-Channel PCIe QDMA Subsystem实现了基
pg302-qdma_pciegen3_xilinx_qdma
08-11
PG302是Xilinx QDMA PCIe Gen3设计指南的文档编号。 QDMA（快速数据移动引擎）是一种可编程的硬件核心，用于高性能数据传输和处理。它提供了高带宽和低延迟的数据传输能力，可广泛应用于数据中心、网络设备和高性能计算等领域。 QDMA PCIe Gen3是一种基于PCIe Gen3总线的QDMA解决方案。PCIe Gen3是一种高性能的串行总线标准，具有更高的带宽和更低的延迟，适用于高速数据传输。 Xilinx是一家知名的可编程逻辑器件生产商，提供了丰富的FPGA和SoC产品。Xilinx QDMA PCIe Gen3是Xilinx提供的一种解决方案，结合了QDMA技术和PCIe Gen3总线，可提供高性能的数据传输能力。 文档PG302是Xilinx发布的关于QDMA PCIe Gen3的设计指南，主要介绍了如何使用QDMA PCIe Gen3解决方案进行高性能数据传输和处理的技术细节、设计原理、电路连接和配置等内容，有助于工程师们在设计和实现QDMA PCIe Gen3解决方案时提供指导和建议。 通过阅读和理解PG302文档，工程师可以获得关于如何使用QDMA PCIe Gen3解决方案的详细信息，包括硬件设计、驱动程序开发和应用软件开发等方面的知识。这有助于他们实现高性能、灵活和可扩展的数据传输方案，满足不同应用领域对于高速数据传输的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值