FPGA基于RIFFA架构实现PCIE通信，测速实验，提供5套工程源码和技术支持

FPGA基于RIFFA架构实现PCIE通信，测速实验，提供5套工程源码和技术支持

1、前言

目前基于Xilinx系列FPGA的PCIE通信架构主要有以下2种，一种是简单的、傻瓜式的、易于开发的、对新手友好的XDMA架构，该架构对PCIE协议底层做了封装，并加上了DMA引擎，使得使用的难度大大降低，加之Xilinx提供了配套的Windows和Linux系统驱动和上位机参考源代码，使得XDMA一经推出就让工程师们欲罢不能；另一种是更为底层的、需要设计者有一定PCIE协议知识的、更易于定制化开发的7 Series Integrated Block for PCI Express架构，该IP实现的是PCIe 的物理层、链路层和事务层，提供给用户的是以 AXI4-stream 接口定义的TLP 包，使用该IP 核，需要对PCIe 协议有清楚的理解，特别是对事务包TLP报文格式；本设计采用第二种方案，调用7 Series Integrated Block for PCI Express IP核，加上RIFFA架构实现PCIE通信，7 Series Integrated Block for PCI Express实现底层协议，RIFFA实现TLP报文组包、解包和轻量级DMA功能；本架构既有简单的测速实验，也有视频采集应用；

工程概述

本设计基于RIFFA架构架构实现PCIE通信测速实验；
数据发送通路如下：
FPGA用户逻辑测产生随机性累加数据形成用户数据发送给RIFFA虚拟通道，虚拟通道对数据进行跨时钟域和缓存操作；然后数据给到RIFFA发送引擎；发送引擎对数据进行TLP报文封装并打拍后有序输出；然后数据给到Xilinx官方的7 Series Integrated Block for PCI Express IP核实现PCIE物理层、链路层和事务层功能；数据通过PCIE金手指从FPGA板卡发送到PC主机；PC端主机在RIFFA-PCIE驱动的加持下有效识别PCIE数据；PC端调用QT上位机调用RIFFA-PCIE驱动的API实现写速率计算，并将速率结果用码表方式呈现；
数据接收通路如下：
PC端调用QT上位机调用RIFFA-PCIE驱动的API发起写操作；数据通过PCIE金手指从PC端主机发送到FPGA板卡；Xilinx官方的7 Series Integrated Block for PCI Express IP核实现PCIE物理层、链路层和事务层功能，并输出AXIS接收数据流；接收数据再进入RIFFA接收引擎；发送引擎对TLP报文进行解包并打拍后有序输出；接收数据再进入RIFFA虚拟通道，对数据进行跨时钟域和缓存操作后输出给用户逻辑；用户逻辑收到数据后再发送给PCIE。由此形成回环；
针对市面上主流的FPGA，本博客提供5套工程源码，具体如下：

现对上述5套工程源码做如下解释，方便读者理解：

工程源码1

开发板FPGA型号为Xilinx–>Artix7–xc7a35tfgg484-2；PCIE架构为Xilinx 7 Series Integrated Block for PCI Express+RIFFA；板载PCIEX2接口，PCIE差分参考时钟100M，运行PCIE2.0版本，单Lane线速率为5GT/s；该工程实现了FPGA基于RIFFA架构实现PCIE通信数据读写和数据测速功能，PC端上位机方案采用QT方案；可实现FPGA+RIFFA架构PCIE+QT上位机架构的搭建和快速验证；适用于该架构的基础验证；

工程源码2

开发板FPGA型号为Xilinx–>Artix7-100T–xc7a100tfgg484-2；PCIE架构为Xilinx 7 Series Integrated Block for PCI Express+RIFFA；板载PCIEX1接口，PCIE差分参考时钟100M，运行PCIE2.0版本，单Lane线速率为5GT/s；该工程实现了FPGA基于RIFFA架构实现PCIE通信数据读写和数据测速功能，PC端上位机方案采用QT方案；可实现FPGA+RIFFA架构PCIE+QT上位机架构的搭建和快速验证；适用于该架构的基础验证；

工程源码3

开发板FPGA型号为Xilinx–>Kintex7–35T–xc7k325tffg484-2；PCIE架构为Xilinx 7 Series Integrated Block for PCI Express+RIFFA；板载PCIEX4接口，PCIE差分参考时钟100M，运行PCIE2.0版本，单Lane线速率为5GT/s；该工程实现了FPGA基于RIFFA架构实现PCIE通信数据读写和数据测速功能，PC端上位机方案采用QT方案；可实现FPGA+RIFFA架构PCIE+QT上位机架构的搭建和快速验证；适用于该架构的基础验证；

工程源码4

开发板FPGA型号为Xilinx–>Zynq7100–xc7z100ffg900-2；PCIE架构为Xilinx 7 Series Integrated Block for PCI Express+RIFFA；板载PCIEX4接口，PCIE差分参考时钟100M，运行PCIE2.0版本，单Lane线速率为5GT/s；该工程实现了FPGA基于RIFFA架构实现PCIE通信数据读写和数据测速功能，PC端上位机方案采用QT方案；可实现FPGA+RIFFA架构PCIE+QT上位机架构的搭建和快速验证；适用于该架构的基础验证；

工程源码5

开发板FPGA型号为Xilinx–>Zynq7100–xc7z100ffg900-2；PCIE架构为Xilinx 7 Series Integrated Block for PCI Express+RIFFA；板载PCIEX8接口，PCIE差分参考时钟100M，运行PCIE2.0版本，单Lane线速率为5GT/s；该工程实现了FPGA基于RIFFA架构实现PCIE通信数据读写和数据测速功能，PC端上位机方案采用QT方案；可实现FPGA+RIFFA架构PCIE+QT上位机架构的搭建和快速验证；适用于该架构的基础验证；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我已有的PCIE方案

我的主页有PCIE通信专栏，该专栏基于XDMA的轮询模式实现与QT上位机的数据交互，既有基于RIFFA实现的PCIE方案，也有基于XDMA实现的PCIE方案；既有简单的数据交互、测速，也有应用级别的图像采集传输，以下是专栏地址：
点击直接前往
此外，我的主页有中断模式的PCIE通信专栏，该专栏基于XDMA的中断模式实现与QT上位机的数据交互，以下是专栏地址：点击直接前往

3、详细设计方案

设计框图

工程详细设计方案框图如下：

用户逻辑

用户逻辑的功能为根据RIFFA用户接口实现读写数据交互，本设计为数据回环，所以设计了一个状态实现该功能，另外，数据的发起为一个随机性的累加器，向PCIE连续不断的发送数据，并将说到的数据原路返回；用户逻辑代码架构如下：

RIFFA架构详解

本设计使用的RIFFA 版本为RIFFA1.0；
RIFFA （Reusable Integration Framework for FPGA Accelerators） 是一个简单的框架，用于通过 PCI Express 总线将数据从主机 CPU 传输到 FPGA。该框架需要一个支持 PCIe 的工作站和一个带有 PCIe 连接器的主板上的 FPGA。RIFFA支持Windows和Linux，Altera和Xilinx，并绑定了C / C++，Python，MATLAB和Java。在软件方面有两个主要功能：数据发送和数据接收。这些函数通过 C/C++、Python、MATLAB 和 Java 中的用户库公开。该驱动程序支持每个系统多个 FPGA（最多 5 个）。软件绑定适用于 Linux 和 Windows 操作系统。用户只需编写几行代码即可与FPGA IP核进行通信。在硬件方面，用户访问具有独立发送和接收信号的接口。这些信号通过FIFO接口提供交易握手和第一个单词，用于读取/写入数据。无需了解总线地址、缓冲区大小或 PCIe 数据包格式。只需在FIFO接口上发送数据，在FIFO接口上接收数据即可。RIFFA不依赖于PCIe桥接器，因此不受网桥实现的限制。相反，RIFFA 直接与 PCIe 端点配合使用，并且运行速度足够快，使 PCIe 链路饱和。软件和硬件界面都得到了极大的简化。RIFFA架构如下：

RIFFA纯verilog代码架构如下：

复杂的代码架构需要长时间的品读才能消化，代码中提供了注释，感兴趣的可以去仔细研读并修改为自己项目需要的情景，对于普通开发者而言，其实只需要掌握RIFFA的用户逻辑即可完成数据读写操作，至于TLP包的封装与解包等操作，代码中已经做好了，一般不需要修改，除非需要定制功能和性能优化外；RIFFA用户逻辑接口及其详细注释如下：该接口位于riffa_wrapper.v；

RIFFA 框架不依赖 PCIe Bridge ，因此它不受桥连接的控制，这就实现了PCIe 通信链路的高带宽。下图显示了使用 32 位，64 位以及 128 位接口的RIFFA 框架性能图，图中的实线为理论上最大的带宽值，虚线为可实现的最大带宽值。PCIe Gen1 以及 PCIe Gen2 都是使用 8B/10B 编码方式，理论上的最大带宽利用率为 80%，在下图中我们可以看出在使用 32 位，64 位接口的情况下，RIFFA 框架可以实现理论上的最大带宽利用率 80%左右；在 128 位接口的情况下最大带宽利用率为 76%左右；

以PCIEX4为例，RIFFA模块资源消耗如下：

Xilinx 7 Series Integrated Block for PCI Express

7 Series Integrated Block for PCI Express是Xilinx官方推出的集成在FPGA内部的PCIE硬核IP；主要实现的是PCIe 的物理层、链路层和事务层，提供给用户的是以 AXI4-stream 接口定义的TLP 包，使用该IP 核，需要对PCIe 协议有清楚的理解，特别是对事务包TLP报文格式；7 Series Integrated Block for PCI Express例化使用十分简单，只是配置项比较多，但大部分保持默认即可，一般也用不到那么多功能，最主要的配置项如下：

7 Series Integrated Block for PCI Express在代码中调用如下：

RIFFA驱动及其安装

本设计提供RIFFA驱动源码，该源码既包括Windows也包括Linux，并提供Windows下的驱动安装可执行文件，如下：

Windows下驱动安装步骤如下：友情提示，Windows下驱动秩序安装一次即可；
第一步：使系统禁用签名并进入测试模式，方法如下：

也可百度其他方法实现上述目的，完成后电脑屏幕右下角应有如下显示：

第二步：修改可执行文件的兼容性，方法如下：

第三步：安装驱动，方法如下：

驱动装好后，下载FPGA工程bit，然后重启电脑，打开我的电脑–>管理–>设备管理器，应看到如下设备：

QT上位机

PC端QT上位机调用RIFFA-PCIE驱动的API实现写速率计算，并将速率结果用码表方式呈现，QT上位机源码如下：

电脑端接收到 FPGA 开发板传来的数据是用户应用程序通过调用库函数fpga_rec才开始接收来自 FPGA 开发板的读请求，然后电脑端将数据分包接收；码表运行样式如下：

工程源码架构

本博客提供5套Vivado工程源码，以工程源码1为例如下，其他工程与之类似：

PCIE上板调试注意事项

1：必须先安装RIFFA-PCIE驱动，详情请参考第3章节的《RIFFA驱动及其安装》，驱动只需安装一次；
2：下载FPGA工程bit后需要重启电脑，电脑才能识别到RIFFA-PCIE驱动；程序固化后也需要重启电脑；
3：FPGA板卡插在主机上后一般不需要额外供电，如果你的板子元器件较多功耗较大，则需要额外供电，详情咨询开发板厂家，当然，找我买板子的客户可以直接问我；
4：PCIE调试需要电脑主机，但笔记本电脑理论上也可以外接出来PCIE，详情百度自行搜索一下，电脑主机PCIE插槽不方便操作时可以使用延长线接出来，某宝有卖；

FPGA工程编译注意事项

由于RIFFA源码包含的头文件众多，所以在编译工程之前，必须设置全局包含文件，否则编译器找不到头文件导致报错，设置如下：

4、工程源码1详解–>Artix7-35T，PCIEX2版本

开发板FPGA型号：Xilinx–Artix7–xc7a35tfgg484-2；
FPGA开发环境：Vivado2019.1；
QT开发环境：VS2015 + Qt 5.12.10；
输入输出：PCIE；
PCIE详情：PCIE2.0版本，X2，5GT/s单lane线速率；
PCIE底层方案：Xilinx 7 Series Integrated Block for PCI Express；
PCIE上层方案：RIFFA；
实现功能：FPGA基于RIFFA架构实现PCIE通信测速实验；
工程作用：此工程目的是让读者掌握FPGA基于RIFFA架构实现PCIE通信测速的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

5、工程源码2详解–>Artix7-100T，PCIEX1版本

开发板FPGA型号：Xilinx–Artix7-100T–xc7a100tfgg484-2；
FPGA开发环境：Vivado2019.1；
QT开发环境：VS2015 + Qt 5.12.10；
输入输出：PCIE；
PCIE详情：PCIE2.0版本，X1，5GT/s单lane线速率；
PCIE底层方案：Xilinx 7 Series Integrated Block for PCI Express；
PCIE上层方案：RIFFA；
实现功能：FPGA基于RIFFA架构实现PCIE通信测速实验；
工程作用：此工程目的是让读者掌握FPGA基于RIFFA架构实现PCIE通信测速的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

6、工程源码3详解–>Kintex7-325T，PCIEX4版本

开发板FPGA型号：Xilinx–Kintex7–35T–xc7k325tffg484-2；
FPGA开发环境：Vivado2019.1；
QT开发环境：VS2015 + Qt 5.12.10；
输入输出：PCIE；
PCIE详情：PCIE2.0版本，X4，5GT/s单lane线速率；
PCIE底层方案：Xilinx 7 Series Integrated Block for PCI Express；
PCIE上层方案：RIFFA；
实现功能：FPGA基于RIFFA架构实现PCIE通信测速实验；
工程作用：此工程目的是让读者掌握FPGA基于RIFFA架构实现PCIE通信测速的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

7、工程源码4详解–>Zynq7100，PCIEX4版本

开发板FPGA型号：Xilinx–Zynq7100–xc7z100ffg900-2；
FPGA开发环境：Vivado2019.1；
QT开发环境：VS2015 + Qt 5.12.10；
输入输出：PCIE；
PCIE详情：PCIE2.0版本，X4，5GT/s单lane线速率；
PCIE底层方案：Xilinx 7 Series Integrated Block for PCI Express；
PCIE上层方案：RIFFA；
实现功能：FPGA基于RIFFA架构实现PCIE通信测速实验；
工程作用：此工程目的是让读者掌握FPGA基于RIFFA架构实现PCIE通信测速的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

8、工程源码5详解–>Zynq7100，PCIEX8版本

开发板FPGA型号：Xilinx–Zynq7100–xc7z100ffg900-2；
FPGA开发环境：Vivado2019.1；
QT开发环境：VS2015 + Qt 5.12.10；
输入输出：PCIE；
PCIE详情：PCIE2.0版本，X8，5GT/s单lane线速率；
PCIE底层方案：Xilinx 7 Series Integrated Block for PCI Express；
PCIE上层方案：RIFFA；
实现功能：FPGA基于RIFFA架构实现PCIE通信测速实验；
工程作用：此工程目的是让读者掌握FPGA基于RIFFA架构实现PCIE通信测速的设计能力，以便能够移植和设计自己的项目；
工程Block Design和工程代码架构请参考第3章节的《工程源码架构》小节内容；
工程的资源消耗和功耗如下：

9、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解决如下：

打开工程后会发现IP都被锁住了，如下：

此时需要升级IP，操作如下：

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：



更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

10、上板调试验证

准备工作

需要准备的器材如下：
FPGA开发板；
PC主机；
我的开发板连接如下：

下载FPGA工程bit，重启电脑，打开上位机软件，即可看到测速情况；

PCIEX1测速效果演示

PCIEX1测速结果如下：

PCIEX1测速视频演示效果如下：

RIFFA-PCIEX1-测速

PCIEX2测速效果演示

PCIEX2测速结果如下：

PCIEX2测速视频演示效果如下：

RIFFA-PCIEX2-测速

PCIEX4测速效果演示

PCIEX4测速结果如下

PCIEX4测速视频演示效果如下：

RIFFA-PCIEX4-测速

11、福利：工程代码的获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：

此外，有很多朋友给本博主提了很多意见和建议，希望能丰富服务内容和选项，因为不同朋友的需求不一样，所以本博主还提供以下服务：