XDMA原理

---

介绍XDMA IP核的功能及原理。

根据pg195，XDMA IP 的PCIe to AXI Bridge功能只存在于UltraScale+器件，不支持7系列器件，此处不介绍。

pg195 《DMA/Bridge Subsystem for PCI Express v4.1Product Guide Vivado Design Suite》

根据XDMA IP设置，有如下几种接口，下面依次介绍这几种接口的功能

XDMA内部构成如下图所示

PCIe协议详解见高速外设互连接口（Peripheral Component Interconnect express, PCIe）

1. PCIe to AXI Lite Master

这个比较简单，使用AXI Lite接口用于主机访问用户侧的各种寄存器、存储器。XDMA为该接口开启一个BAR空间，通过将PCIe总线域地址映射到FPGA处AXI总线域地址，实现寄存器读写。该接口*addr接口位宽为固定32bit.

IP设置该接口如下，需要指定主机为该BAR空间分配的内存空间大小，以及PCIe到AXI地址转换值。

其中AXI 总线域地址=PCIe总线域地址 偏移+PCIe to AXI Transalation。

手把手教你学会 Xilinx PCIE/XDMA 读写DDR系列（二） ——XDMA详细配置步骤
33.XDMA功能详解2-XDMA概述、功能框图、应用场景

下面介绍XDMA内部是如何通过TLP对用户侧进行访问的。

1.1. BAR Address to AXI Address

以下图FPGA的Block Design为例，XDMA IP 通过AXI SmartConnect连接MIG和BRAM

假设XDMA 的BAR0映射为M_AXI_LITE接口，且满足：PCIe to AXI Transalation==0x4000_0000

假设主机侧为BAR0分配的PCIe域内存空间为0x1000_0000-0x3000_0000（512MB）。

其中MIG为64M×32bit，寻址空间为256MB，主机侧的PCIe域地址空间为0x1000_0000-0x1FFF_FFFF，在FPGA侧的AXI总线域地址设置为0x4000_0000-0x4FFF_FFFF。

其中Block RAM为16K×32bit，寻址空间为64KB，主机侧的PCIe域地址空间为0x2000_0000-0x2000_FFFF，在FPGA侧设置的AXI总线域地址为0x5000_0000-0x5000_FFFF

AXI 总线域地址就是Vivado里Address Editor标签中命名的地址

如果主机要读取Block RAM中0x10的数据步骤如下：

1. 先发送Length为0x1、Address为(0x2000_0000+0x40)的MRd TLP至pcie_mgt接口
2. XDMA检测到TLP中的Address字段命中BAR0后，就将BAR0转化为AXI总线域地址，通过M_AXI_LITE接口发送读请求，其m_axi_araddr[31:0]=(0x4000_0000+(0x2000_0000+0x40-0x1000_0000))=(0x5000_0000+0x40)，m_axi_rdata[31:0]返回数据
3. 之后AXI SmartConnect再将AXI总线域地址转化为M01_AXI的地址，即BRAM Controller侧地址，即M01_AXI_araddr[15:0]=0x40、M01_AXI_arlen[7:0] = 8’d3、M01_AXI_arsize[2:0] =3’d2。
4. AXI BRAM Controller将BRAM Controller侧地址转化为BRAM的raddr[13:0] = 0x10

2. PCIe to DMA Bypass

3. AXI4 Memory Mapped

是XDMA实现SG DMA的接口，可以配置为多Channel H2C Stream或C2H Stream类型，也可以配置为AXI4 Master用于所有通道共享。此处我们介绍配置为AXI4 Memory Mapped的SG DMA，对应到XDMA IP上其实就是一个M_AXI接口

首先介绍一下什么是SG DMA。SG DMA与普通DMA不同的是 允许每次 DMA 传输访问多个内存空间，所有任务都结束后，才发出中断。 能够提高CPU工作效率。

SG DMA基本原理是主机在主存中开辟一片空间保存H2C链表和C2H链表，链表以 Descriptor 为基本单元。每个Descriptor包含了要进行DMA的起始地址、长度、目标外设地址、下一个Descriptor在内存空间地址等信息。

主机控制SG DMA启动后，先读取第一个Descriptor、解析、执行DMA传输，传输完成后再从主存中读取第二个Descriptor，往复循环上述过程，直到读取到最后一个Descriptor，完成传输发出中断。

基于Xilinx FPGA的AXI Direct Memory Access (Scatter Gather Engine模式) 行为分析及软件操作流程

3.1. Descriptor

无论是H2C还是C2H，XDMA规定的descriptor格式如下图所示

可以看到一个descriptor占32字节

Len[27:0]单位是字节，Nxt_adj[5:0]表示链表后还剩多少个descriptor。

Src_addr[63:0]表示需要执行DMA的数据源地址，如果是H2C DMA该地址为主机侧PCIe总线域地址，若是C2H DMA该地址为FPGA侧AXI总线域地址。

同理，Dst_addr[63:0]表示需要执行DMA的数据目的地址，如果是H2C DMA该地址为FPGA侧AXI总线域地址，若是C2H DMA该地址为主机侧PCIe总线域地址。

Nxt_addr[63:0]表示下一个descriptor地址，只能是主机侧PCIe总线域地址。

可以在XDMA IP的GUI界面的PCIe: DMA标签下选择Descriptor Bypass for H2C和C2H，就可以通过旁路接口输入descriptor，可以不只从host主存获取
36.XDMA原理详解2-DMA描述符、描述符FIFO、描述符旁路详解

3.2. Transfer for H2C

XDMA执行SG DMA是基于通过BAR空间对相关DMA寄存器控制 进行的。

下面以H2C为例，介绍XDMA执行SG DMA整个流程

图中一个框出多个箭头表示并行执行。

执行过程如下：

Step 1. 主机向主存中存储多块连续数据，假设为100块

Step 2. 主机生成100个Descriptor分别指向这100个数据块，形成descriptors链表放入主存中。

注意每个descriptor.Dst_adr[63:0]是FPGA侧的AXI总线域地址

Step 3. 主机通过MWr TLP命中 DMA对应的BAR空间，向H2C SG DMA寄存器组写入首descriptor起始地址、首descriptor后的descriptor个数

上述信息分别对应XDMA的0x4080、0x4084、0x4088寄存器

Step 4. 主机初始化H2C DMA传输，开启对应通道的descriptor获取

包括H2C Channel Control寄存器0x0004、SGDMA Descriptor Controller 寄存器0x6010等等

Step 5. XDMA根据H2C SG DMA寄存器组的信息，以及获取的descriptor中Nxt_adr[63:0]信息，不断向主机发送MRd TLP包，获取descriptor缓存入FIFO

每次向主机请求多少个Descriptor（每个MRd TLP的Length[9:0]字段）与XDMA自身的Max Read Request Size（MRRS）寄存器0x300C和descriptor FIFO容量有关。

MRRS寄存器如下所示，一般为512B或1024B

DMA内部descriptor FIFO深度为 AXI Data Width×512供所有Channel共用，例如2个H2C、2个C2H的Gen3 x8，AXI Data Width=256bit，因此有256bit×5122=16KB=32B×512，可放入512个descriptor。

Step 5. XDMA从FIFO读出一个descriptor，根据descriptor中PCI总线域源地址Src_adr[63:0]和长度Length[27:0]信息向主机发送MRd TLP包，主机从主存中读出待DMA的数据并通过CPlD TLP返回给XDMA。

Step 5. XDMA收到CplD后，根据descriptor中AXI总线域目的地址Dst_adr[63:0]的信息，通过AXI MM接口进行AXI写握手。待全部数据写握手完毕后，从FIFO中读出下一个descriptor，直到所有descriptors处理完毕

35.XDMA原理详解1-DMA描述符概述及DMA数据传输架构
37.XDMA寄存器详解1-内部寄存器概览

4. AXI Lite Slave Configuration Interface

5. MSI/MSI-X Interrupt Interface