PCIe 基础知识

relax33

已于 2022-12-06 11:27:39 修改

阅读量5.9k

点赞数 8

分类专栏： PCIe 文章标签： linux

于 2022-12-05 14:53:58 首次发布

本文链接：https://blog.csdn.net/relax33/article/details/128182253

版权

PCIe 专栏收录该内容

3 篇文章 3 订阅

订阅专栏

参考：Linux PCI驱动框架分析（二）

PCIe设备与数据结构

PCIe在Linux driver中被抽象为各种数据结构，PCIe Host bridge被抽象为struct pci_host_bridge;PCIe bus被抽象为struct pci_bus; PCIe switch 和PCIe endpoint被抽象为struct pci_dev.

PCIe 配置空间

PCIe配置空间分为兼容配置空间和扩展配置空间。

兼容配置空间: PCIe配置空间完整保留了PCI总线的配置空间,大小256Byte,最前面的64Byte位配置头,分为Type0和Type1.Type0表示Endpoint, Type1表示Bridge. 紧接着的192Byte为PCI Capability.对于PCIe必须实现下面的Capability structures:

• PCI Express Capability

• Power Management

• MSI and/or MSI-X

配置空间格式如图：

扩展配置空间：PCIe将配置空间扩展到4KB,用于支持PCIe总线中的新功能

CPU读Endpoint配置空间流程如下：

• CPU产生memory request或IO request.

• RC将CPU request转换为配置读写请求.

• 根据BDF查找设备(如右图从bus4,device0, fun0 reg0读取2Bytes); Bridge检查请求的BDF中的Bus号是否与自己的下一级总线号相等,相等则将Type1转换为Type0发给下一级(Endpoint);不相等,但在自己下级总线号和最后一级总线号之间,则将Type1请求发给下一级总线;如果没在自己下级总线号和最后一级总线号之间,则该桥认为这一请求和自己无关,忽略.

备注：PCIe Spec规定只有RC有权限发起配置请求,且配置请求的路由只能采用BDF；传统PCI设备使用IO间接寻址访问；PCIe设备使用Memory-mapped访问

PCIe设备枚举

BDF(Bus, Device, Function)是PCIe总线中每个功能独一无二的标识符.

Bus: 占用8位,即PCIe总线最多支持256个子总线, Bus0总是分配给Root Complex.

Device: 占用5位,即每个子总线最多支持32个设备

Function: 占用3位,即每个设备最多支持8个功能. 每个设备必须有Fun0,其他可选.

枚举算法：深度优先（depth-first-search）

1. Bus number 从0开始；以BDF=0:0:0读设备A的配置空间寄存器vendor ID和device ID

2. 设备A的Vendor ID和device ID有效，继续读设备A的配置空间寄存器header type，判断设备C是桥设备还是endpoint，该示例为桥设备，桥设备则初始化设备A配置空间寄存器Primary bus=0，Secondary bus=1，Subordinate bus=255

3. 以BDF=1:0:0读设备C的配置空间寄存器vendor ID和device ID

4. 设备C的vendor ID和device ID有效，继续读设备C的配置空间寄存器header type，判断设备C是桥设备还是endpoint，该示例为桥设备，桥设备则初始化设备C配置空间寄存器Primary bus=1，Secondary bus=2，Subordinate bus=255

5. 以BDF=2:0:0读设备D的配置空间寄存器vendor ID和device ID

6. 设备D的vendor ID和device ID有效，继续读设备D的配置空间寄存器header type，判断设备D是桥设备还是endpoint，该示例为桥设备，桥设备则初始化设备D配置空间寄存器Primary bus=2，Secondary bus=3，Subordinate bus=255

7. 以BDF=3:0:0读设备的配置空间寄存器vendor ID和device ID，设备的vendor ID和device ID有效，继续读设备的配置空间寄存器header type，判断设备是桥设备还是endpoint，该示例为endpoint，继续读设备的配置空间判断时single-function设备还是multi-function设备

8. 7中的设备为multi-function，然后以BDF=3:0:1读设备的配置空间寄存器vendor ID和device ID，设备的vendor ID和device ID有效，然后做一些初始化操作

9. Bus3的设备遍历结束之后，发现桥设备D下最大的bus number为3，则将设备D的配置空间寄存器Subordinate bus=3

10. Bus3遍历结束后，回到Bus2，以BDF=2:1:0读设备E，和步骤5类似

11. 步骤11和步骤6类似，步骤12和步骤7类似，步骤13&14&15和步骤9类似

下图为枚举完成后的BDF，以及bus编号

PCIe设备枚举的软件实现

1. 设备的扫描从pci_scan_root_bus_bridge开始，首先需要先向系统注册一个host bridge，在注册的过程中需要创建一个root bus，也就是bus 0，在pci_register_host_bridge函数中，主要是一系列的初始化和注册工作，此外还为总线分配资源，包括地址空间等；

2. pci_scan_child_bus开始，从bus 0向下扫描并添加设备，这个过程由pci_scan_child_bus_extend来完成；

3. 从pci_scan_child_bus_extend的流程可以看出，主要有两大块：

• PCI设备扫描，从循环也能看出来，每条总线支持32个设备，每个设备支持8个功能，扫描完设备后将设备注册进系统，pci_scan_device的过程中会去读取PCI设备的配置空间，获取BAR的相关信息；

• PCI桥设备扫描，PCI桥是用于连接上一级PCI总线和下一级PCI总线的，当发现有下一级总线时，创建子结构，并再次调用pci_scan_child_bus_extend的函数来扫描下一级的总线，从这个过程看，就是一个递归过程。

以RK3568为例，枚举完成后的topology如图：

各种数据结构之前的关系为：

PCIe地址空间

PCIe地址空间包含三类：Cofiguration配置空间；Memory空间；IO空间

注: PCIe spec规定,IO地址空间只为兼容早期的PCI设备,在新设计中应当使用MMIO(Memory Mapped IO),设备中的内部存储和寄存器都统一映射到存储地址空间(Memory Address Space)

每个PCIe设备（endpoint、bridge）都包含一个配置空间（4k），对于endpoint设备配置空间header为Type0，包含6个32位的BAR（Base Address Register）寄存器，对于bridge设备配置空间header为Type1，包含2个32位的BAR寄存器。通过BAR寄存器可以分别映射PCIe的memory空间和IO空间到系统的设备地址空间和系统的IO空间中。

QCOM QCS8250 PCIe地址空间