PCIE通信接口使用笔记

PCI Express（PCIe）是一种高速串行I/O总线协议，用于在计算机系统中连接外部设备，如显卡、网卡、存储设备等。

以下是PCIe通信协议的一些关键特点：

高带宽：PCIe协议支持多个数据通道，每个通道的带宽可以达到2.5 GB/s以上，这大大提高了数据传输速度和系统性能。

基于差分信号：PCIe采用差分信号传输，这种信号传输方式可以降低电磁干扰和信号失真，同时也可以提高信号传输的可靠性。

点对点通信：每个PCIe设备都有自己的独立通道，这种点对点通信方式可以避免总线竞争和信号冲突。

热插拔支持：PCIe支持热插拔，这意味着在系统运行时可以动态添加或移除设备，而无需关闭系统或重启。

多个版本：PCIe有多个版本，包括PCIe 1.0、PCIe 2.0、PCIe 3.0、PCIe 4.0和PCIe 5.0。每个版本都有不同的带宽和数据传输速度。

软件可编程性：PCIe协议提供了灵活的软件编程接口，使软件开发人员能够更方便地访问PCIe设备并控制其功能。

在PCIe通信协议中，有许多术语和概念需要理解，包括总线、设备、根端点、虚拟通道、传输层协议（TLP）等等。总的来说，PCIe是一种高性能、高可靠性的通信协议，已经成为了现代计算机系统中不可或缺的一部分。

一、PCI Express（PCIe）通信协议的实现方法可以分为以下几个方面：

1、总线拓扑结构
PCIe采用点对点拓扑结构，每个设备都有自己的地址空间和独立的通道，设备之间通过交换机连接。在PCIe中，最上层的交换机被称为根端点，负责管理整个PCIe网络，包括为每个设备分配地址、分配虚拟通道等。除了根端点之外，其他设备也可以充当交换机的角色，从而形成更复杂的PCIe网络。

2、传输层协议（TLP）
在PCIe中，传输层协议（TLP）是数据传输的基本单位。TLP包含有关数据传输的各种信息，包括地址、命令、数据、校验和等等。每个TLP都被分配一个唯一的标识符，以便接收方可以识别和验证TLP的完整性。PCIe定义了许多不同类型的TLP，例如读请求TLP、写请求TLP、数据TLP等等，每种类型的TLP都有自己的格式和字段。

3、虚拟通道
PCIe中的虚拟通道是指逻辑上分离的通道，每个通道都有自己的优先级和带宽。PCIe 3.0引入了动态流量控制（DPC）机制，可以根据网络拥塞情况动态调整虚拟通道的带宽，从而提高网络性能和可靠性。

4、数据链路层
PCIe的数据链路层负责将TLP转换为物理层的数据信号，并在数据传输过程中执行流控制、错误检测和纠错等操作。数据链路层还负责管理虚拟通道和交换机，以确保数据传输的可靠性和效率。

5、物理层
PCIe的物理层负责将数据信号转换为物理信号，并在不同设备之间传输。PCIe采用串行传输方式，使用差分信号传输技术，具有高带宽和低功耗等优点。PCIe还定义了许多不同类型的物理层信号，例如8b/10b编码、128b/130b编码等等，每种信号都有自己的特点和应用场景。
PCI Express（PCIe）通信协议的实现涉及到许多方面，包括总线拓扑结构、传输层协议、虚拟通道、数据链路层和物理层等等。这些方面都需要在硬件和软件层面进行实现。

6、硬件实现
在硬件实现方面，PCIe需要使用专门的芯片来实现。例如，PCIe设备需要使用PCIe控制器芯片，而主板需要使用PCIe桥接器芯片。这些芯片需要支持PCIe协议，并能够实现PCIe的各种功能，例如数据传输、流控制、错误检测和纠错等等。

7、驱动程序
在软件实现方面，PCIe需要使用特定的驱动程序来实现。驱动程序可以访问PCIe设备的地址空间，读写设备的寄存器和内存等等。驱动程序还可以控制虚拟通道和传输层协议，以确保数据传输的可靠性和效率。在操作系统中，通常会提供标准的PCIe驱动程序，但是具体的驱动程序实现需要根据设备和操作系统进行定制。

8、性能优化
PCIe的性能优化可以从多个方面入手，例如增加虚拟通道的带宽、优化传输层协议、使用高速存储器等等。此外，还可以采用高效的缓存算法和DMA技术，以减少CPU的负担和提高数据传输的速度。PCIe 5.0还提供了很多新的优化功能，例如流控制更新、动态链接重训练等等，可以进一步提高PCIe的性能和可靠性。

综上所述，PCIe通信协议的实现需要涉及到硬件和软件两个方面，包括总线拓扑结构、传输层协议、虚拟通道、数据链路层、物理层、驱动程序和性能优化等等。在实现过程中，需要考虑各种因素，包括性能、可靠性、成本和功耗等等，以达到最优的效果。

二、PCIe通信需要满足以下条件：

必须有PCIe总线：PCIe总线是PCIE通信的物理层，包含一组信号线和协议，用于在不同的设备之间传输数据。

设备ID：每个设备必须具有唯一的设备ID，以便其他设备能够识别它。

BAR寄存器：每个设备必须配置至少一个基址寄存器（BAR），用于描述设备的地址空间。其他设备可以通过读取设备的BAR寄存器来确定设备的地址空间。

命名空间：每个PCIe设备必须有一个唯一的命名空间，用于区分不同的设备。命名空间可以基于PCIe端口、PCIe根端口和其他因素进行识别。

PCI配置空间：每个PCIe设备必须有一个标准的PCI配置空间，其中包含用于描述设备和其功能的寄存器。

PCIe事务：PCIe通信是通过传输事务来实现的，每个事务包括一个事务层包（TLP）和一个数据链路层包（DLLP）。

链路层：每个PCIe设备必须实现链路层，以便与其他设备通信。链路层包括传输层（包括传输层协议）、数据链路层和物理层。

数据传输速率：PCIe支持不同的数据传输速率，最高速率为32GT/s（PCIe 5.0）。传输速率取决于PCIe设备和总线的能力，以及系统配置。

以上是PCIe通信的一些基本条件和要求，实际上，PCIe通信还有很多细节和规范需要遵循，例如事务处理规则、错误处理、缓存一致性、中断处理等，这些细节需要根据具体情况进行实现和配置。

三、FPGA中PCIE接口的I/O信号以及使用方法

1、差分对：PCIe使用差分对传输数据，因此必须使用差分对输入/输出信号。差分对信号包括TXP/TXN（发送数据）、RXP/RXN（接收数据）、CLKP/CLKN（时钟信号）和PERST#（复位信号）等。

2、状态指示灯：PCIe设备通常配备了状态指示灯，用于显示设备的状态信息。在FPGA中，状态指示灯的控制可以使用GPIO或其他通用I/O端口来实现。

3、内存映射I/O：PCIe设备通常使用内存映射I/O来与主机通信。在FPGA中，可以使用AXI总线、Avalon总线或其他总线协议来实现内存映射I/O。

4、中断信号：PCIe设备通常使用中断信号来通知主机某些事件已经发生。在FPGA中，可以使用中断控制器模块来实现中断信号的控制。

使用这些I/O信号，可以在FPGA中实现PCIe接口，以便与PC机或其他PCIe设备进行通信。在实际应用中，需要根据具体情况进行I/O信号的配置和调试，以确保PCIe通信的可靠性和性能。

四、PCIE的XDMA使用

可参考下面的博文：
原文链接：https://blog.csdn.net/mu_guang_/article/details/108951919

五、PCIE通过自写DMA代码进行传输

XDMA是Xilinx自有的ip，因此PCIE和DMA是捆绑在一起使用的，因此XDMA里的DMA功能比较多，资源占比较大，在工程中显得比较厚重。因此我们可以自己调用PCIE的IP然后手写DMA进行数据交互，这样子能节省一定的资源，并且使得这套PCIE+DMA的方案显得更加清爽。

六、PCIE的PR功能

这里提到我所使用的两种PR功能，一种是Tandem模式，一种是DFX模式。
PCI Express®规范要求PCIe®链路在电源稳定后120毫秒内做好连接准备。由于可用编程比特流的大小和配置速率，对采用闪存存储器配置的大型FPGA而言要想满足这个要求的确是一个挑战。赛灵思的串列配置法（Tandem Configuration）是缩短FPGA配置时间以满足120毫秒PCIe链接时间要求的一种现实可行的方法。
如果要使用Tandem模式，需要将PCIE核中的Tandem Configuration or Dynamic Function eXchange这个选项中选中Tandem选项。这样在生成比特流之后会根据你的工程结构来生成多个比特文件。

Vivado第一步只会生成比特流，PCIE也支持MCS文件烧录版本，尤其是Tandem和DFX模式都需要使用MCS进行烧录版本，所以我们需要将bit文件转成mcs文件，可以通过GUI或者Tcl指令来产生mcs文件，我这里使用的Tcl指令是：
write_cfgmem -format mcs -size 128 -interface SPIx4 -loadbit {up 0x01002000 “/home/work/HAI_AU50/04_prj/hai_mf.runs/impl_1/hai.bit” } -file “/home/work/HAI_AU50/04_prj/hai_mf.runs/impl_1/hai.mcs”。
通过MCS文件烧录完成后，断开Jtag线后可以通过PCIE进行工程烧录和加载。后续的掉电或者重启都不会影响mcs已经烧录进去的版本。

七、PCIE的四组信号通道

1、CQ通道
CQ通道一般用来进行寄存器配置等操作，PCIE通过CQ通道输出BAR空间中对FPGA寄存器的读或者写请求。
2、CC通道
PCIE的CC通道响应FPGA寄存器对PCIE端读或者写寄存器请求的结果。
3、RQ通道
RQ通道一般为BAR空间中对FPGA中数据的读写请求以及内存空间的映射信息。
4、RC通道
RC通道一般为PCIE对FPGA中数据的读写请求以及内存空间的映射信息的响应。
所有通道都会被包一层TLP的报头以供软件或者DMA解析，具体信息可以查看官方的PG213文档。