PCIE详解

本博客整理自网络，仅供学习参考，如有侵权，联系删除。邮箱：rom100@163.com。 

一.从PCIe速度说起

        PCIe发展到现在，从PCIe 1.0，PCIe 2.0，到现在的PCIe 3.0，速度一代比一代快。

        Link Width这一行，我们看到X1，X2，X4…，这是什么意思？这是指PCIe连接的通道数（Lane）。就像高速一样，有单根道，有2根道的，有4根道的，不过像8根道或者更多道的公路不常见，但PCIe是可以最多32条道的。

两个设备之间的PCIe连接，叫做一个Link，如下图所示：

        回到前面PCIe带宽那张表，上面的带宽，比如PCIe3.0x1，带宽为2GB/s，是指双向带宽，即读写带宽。如果单指读或者写，该值应该减半，即1GB/s的读速度或者写速度。

        我们来看看表里面的带宽是怎么算出来的。

        PCIe是串行总线，PCIe1.0的线上比特传输速率为2.5Gb/s，物理层使用8/10编码，即8比特的数据，实际在物理线路上是需要传输10比特的，因此：

PCIe1.0 x 1的带宽=（2.5Gb/s x 2（双向通道））/ 10bit = 0.5GB/s

        这是单条Lane的带宽，有几条Lane，那么整个带宽就0.5GB/s乘以Lane的数目。

        PCIe2.0的线上比特传输速率在PCIe1.0的基础上翻了一倍，为5Gb/s，物理层同样使用8/10编码，所以：

PCIe2.0 x 1的带宽=（5Gb/s x 2（双向通道））/ 10bit = 1GB/s

        同样，有多少条Lane，带宽就是1GB/s乘以Lane的数目。

        PCIe3.0的线上比特传输速率没有在PCIe2.0的基础上翻倍，不是10Gb/s，而是8Gb/s，但物理层使用的是128/130编码进行数据传输，所以：

PCIe3.0 x 1的带宽=（8Gb/s x 2（双向通道））/ 8bit = 2GB/s

        同样，有多少条Lane，带宽就是2GB/s乘以Lane的数目。

        由于采用了128/130编码，128比特的数据，只额外增加了2bit的开销，有效数据传输比率增大，虽然线上比特传输率没有翻倍，但有效数据带宽还是在PCIe2.0的基础上做到翻倍。

        这里值得一提的是，上面算出的数据带宽已经考虑到8/10或者128/130编码，因此，大家在算带宽的时候，没有必要再考虑线上编码的问题了。

二.PCIe拓扑结构

        计算机网络的拓扑结构是引用拓扑学中研究与大小、形状无关的点、线关系的方法，把网络中的计算机和通信设备抽象为一个点，把传输介质抽象为一条线，由点和线组成的几何图形就是计算机网络的拓扑结构。

        PCI采用的是总线型拓扑结构，一条PCI总线上挂着若干个PCI终端设备或者PCI桥设备，大家共享该条PCI总线，哪个人想说话，必须获得总线使用权，然后才能发言。下面是一个基于PCI的传统计算机系统：

        北桥下面的那根PCI总线，挂载了以太网设备、SCSI设备、南桥以及其他设备，他们共享那条总线，某个设备只有获得总线使用权才能进行数据传输。而PCIe则采用树形拓扑结构，一个简单而又典型的PCIe拓扑结构如下：

        整个PCIe拓扑结构是一个树形结构，Root Complex（RC）是树的根。RC为CPU代言，与整个计算机系统其它部分通讯，比如CPU通过它访问内存，通过它访问PCIe系统中的设备。

        RC的内部实现很复杂，PCIe Spec也没有规定RC该做什么，还是不该做什么。我们也不需要知道那么多，只需清楚：它一般实现了一条内部PCIe总线（BUS 0)，以及通过若干个PCIe bridge，扩展出一些PCIe Port，如下图所示： 

         PCIe Endpoint，就是PCIe终端设备，比如PCIe SSD，PCIe网卡等等。

        Switch扩展了PCIe端口，靠近RC的那个端口，我们叫上游端口（upstream port），而分出来的其他端口，我们叫下游端口（downstream port）。一个Switch只有一个上游端口，可以扩展出若干个下游端口。下游端口可以直接连接Endpoint，也可以连接Switch，扩展出更多的PCIe端口。 

        对每个Switch来说，它下面的Endpoint或者Switch，都是归他管的：上游下来的数据，它需要甄别数据是传给它下面哪个设备，然后进行转发；下面设备向RC传数据，也要通过Switch代为转发的。因此，Switch的作用就是扩展PCIe端口，并为挂在它上面的设备（endpoint 或者switch)提供路由和转发服务。

        每个Switch内部，也是有一根内部PCIe总线的，然后通过若干个Bridge，扩展出若干个下游端口，如下图所示：

最后小结一下：

        PCIe采用的是树形拓扑结构，RC是树的根，或者主干，它为CPU代言，与PCIe系统其它部分通讯，一般为通讯的发起者；Switch是树枝，树枝上有叶子（Endpoint），也可节外生枝，Switch上连Switch，归根结底，是为了连接更多的Endpoint。Switch为它下面的Endpoint或Switch提供路由转发服务；Endpoint是树叶，诸如SSD，网卡，显卡等等，实现某些特定功能（function）。我们还看到有所谓的Bridge，用以将PCIe总线转换成PCI总线，或者反过来，不是我们要讲的重点，忽略之。PCIe与采用总线共享式通讯方式的PCI不同，PCIe采用点到点（Endpoint to Endpoint）通讯方式，每个设备独享通道带宽，速度和效率都比PCI好。

三.PCIe分层结构

绝大多数的总线或者接口，都是采用分层实现的。PCIe也不例外，它的层次结构如下：

        PCIe定义了下三层（彩色部分）：事务层（Transaction Layer），数据链路层（Data Link Layer）和物理层（Physical Layer），每层职能是不同的，且下层是为上层服务的。分层设计的一个好处：如果层次分得够好，接口版本升级时，硬件设计可能只需要改动某一层，其它层次可以保持不动。        

        PCIe传输的数据从上到下，都是以packet的形式传输的，每个packet都是有其固定的格式的。

        事务层的主要职责是创建（发送）或者解析（接收）TLP (Transaction Layer packet)，流量控制，QoS，事务排序等。

        数据链路层的主要职责是创建（发送）或者解析（接收）DLLP(Data Link Layer packet)，Ack/Nak协议（链路层检错和纠错），流控，电源管理等。

        物理层的主要职责是处理所有的Packet数据物理传输，发送端数据分发到各个Lane传输（stripe），接收端把各个Lane上的数据汇总起来（De-stripe），每个Lane上加扰（Scramble，目的是让0和1分布均匀，去除信道的电磁干扰EMI）去扰（De-scramble)，以及8/10或者1