PCIE——第 9 章——流量控制

摸鱼的杰德

已于 2022-10-13 13:49:38 修改

阅读量3.7k

点赞数 4

分类专栏： PCIE 文章标签： fpga开发

于 2022-10-13 13:49:11 首次发布

本文链接：https://blog.csdn.net/Y__Yshans/article/details/127270730

版权

PCIE 专栏收录该内容

9 篇文章 50 订阅

订阅专栏

摘要：PCIE——第 9 章——流量控制

第 9 章流量控制

9. 1　流量控制的基本原理

9. 1. 1　 Rate⁃Based 流量控制

9. 1. 2　 Credit⁃Based 流量控制

9. 2　 Credit⁃Based 机制使用的算法

9. 2. 1　 N123 算法和 N123 + 算法

9. 2. 2　 N23 算法

9. 2. 3　流量控制机制的缓冲管理

9. 3　 PCIe 总线的流量控制

9. 3. 1　 PCIe 总线流量控制的缓存管理

9. 3. 2　 Current 节点的 Credit

9. 3. 3　 VC 的初始化

9. 3. 4　 PCIe 设备如何使用 FCP

9. 4　小结

参考文章：

第 9 章流量控制

流量控制（ Flow Control）的概念起源于网络通信。一个复杂的网络系统由各类设备（如交换机、路由器、核心网），与这些设备之间的连接通路组成。从数据传输的角度来看，整个网络中具有两类资源，一类是数据通路，另一类是数据缓冲。

数据通路是网络上最珍贵的资源，直接决定了数据链路可能的最大带宽；而数据缓冲是另外一个重要的资源。当节点3和4被占用的时候，B无法从节点1顺利传递到节点5。在现代网络节点中设置了多个虚通路 VC，不同的数据报文可以使用不同的通路进行传递，从而有效解决了单数据通路带来的问题。

9. 1　流量控制的基本原理

流量控制的主要作用是在发送端和接收端进行数据传递时，合理地使用物理链路，避免因为接收端缓冲区容量不足而丢弃来自发送端的数据，从而要求发送端重新发送已经发送过的报文，并最终有效地利用网络带宽。

9. 1. 1　 Rate⁃Based 流量控制

假设每个VC的传输速率是1/4 rate，那么5个VC就是5/4，超过了1。Rate⁃Based 机制规定每一个 VC 在发送一定数量的报文后，将主动地将相应 VC 的 Rate 调整为 Rate 减去 ADR （Additive Decrease Rate），直到 Rate 等于 MCR （ Minimum Cell Rate）；

对于多数长度 “不可预知” 的突发数据传递，该机制并不能完全适用。因为 Rate⁃ Based 流量控制的实时性较弱，当一个 VC 需要瞬间传递大量报文时， Rate⁃Bsed 机制不能及时地为这条 VC 提供足够的数据传送率；而当一个 VC 拥塞时，也不能及时地降低数据传送率。因此使用 Rate⁃Based 机制并不能满足网络上突发数据传送的需要，此时需要使用 Credit⁃ Based 机制对流量进行控制。

9. 1. 2　 Credit⁃Based 流量控制

Credit⁃Based 机制需要使用以下参数进行报文传递。

● Buf_Alloc 参数。该参数保存在 Current 节点中接收数据缓冲的总大小。 Upstream 节点能够发送的数据报文总数不能大于该参数。

● Crd_Bal 参数。该参数是 Upstream 节点可以发送的数据报文数， Current 节点需要定时向 Upstream 节点发送 Credit 报文。 Upstream 节点收到该报文后，使用该报文中的 “Credit” 同步 Crd_Bal 参数。 Upstream 节点可以发送的数据报文数不能超过 Credit_ Bal 参数。

● Tx_Cnt 参数。该参数为 Upstream 节点已经发送的数据报文数。

● Fwd_Cnt 参数。该参数为 Current 节点转发到 Downstream 节点的数据报文数。 Credit⁃Based 流量控制使用的各个参数之间的关系如图 9-5 所示。

9. 2　 Credit⁃Based 机制使用的算法

（1） N1 缓冲

该参数用来防止因为线路延时而造成的 Overrun

（2） N2 缓冲

N2 的值与 VC 的设置有相关。N2 的值越大， Buf_Alloc 参数的值也越大，节点发送 Credit 报文的频率也越低，从而 Credit 报文占用数据通路带宽的比例越小； N2 的值越小，则 Buf_Alloc 的值也越小，向 Up⁃ stream 节点发送的 Credit 报文的频率越高， Credit 报文占用数据通路带宽的比例也越大。

（3） N3 缓冲

N3 的容量可以影响数据通路的有效带宽，在流量控制机制的实现中，如果 N3 过小，那么 Current 节点将出现 Under⁃run 的现象，从而影响数据通路的有效带宽。根据上述数学模型， H. T. Kuang 与 Alan Chapman 提出了三种流量控制算法，分别为 N123、 N123 + 和 N23 算法。

9. 2. 1　 N123 算法和 N123 + 算法

了解即可

9. 2. 2　 N23 算法

了解即可

9. 2. 3　流量控制机制的缓冲管理

上文讲述了基于单个 VC 的流控机制，实际上在 Upstream、 Current 和 Downstream 节点中一般含有多个 VC。多个 VC 之间如何合理地使用缓存值得重点关注，在实际设计中，可以为每一个 VC 设置独立接收缓存，也可以使多个 VC 共享同一个接收缓存。在 FCVC 的实现中，可以根据实际情况选择独立缓存或者共享缓存。

其中，每一个 VC 都使用独立接收缓存的流量控制方法称为静态（ Static）流量控制；而使用共享缓存的流量控制方法称为自适应（Adaptive）流量控制。目前接收缓存的分配常使用两种算法，分别是 Sender⁃Oriented 和 Receiver⁃Oriented 管理算法。

9. 3　 PCIe 总线的流量控制

PCIe 总线的流量控制机制由事务层和数据链路层协调实现，而对系统软件透明。 PCIe 总线使用 Credit⁃Based 流量控制机制，其中 Credit 报文以 DLLP 的形式从 Current 节点反馈到 Upstream 节点。在 PCIe 总线中，数据报文首先以 TLP 的形式通过数据链路层，而到达数据缓存时被分解为 Header 和 Data 两个部分，分别存放到不同的接收缓存队列中。

9. 3. 1　 PCIe 总线流量控制的缓存管理

在 PCIe 总线的节点中，一个 VC 的接收缓存由 PH （ Posted Header）缓存、 PD （ Posted Data）缓存、 NPH （Non⁃Posted Header）缓存、 NPD （Non⁃Posted Data）缓存、 CplH （ Com⁃ pletion Header）缓存和 CplD （Completion Data）缓存组成。

● PH 缓存存放存储器写请求 TLP 和 Message 报文使用的 TLP 头。

● PD 缓存存放存储器写请求 TLP 和 Message 报文使用的 Payload。

● NPH 缓存存放 Non⁃Posted 请求 TLP 使用的 TLP 头。

● NPD 缓存存放 Non⁃Posted 请求 TLP 使用的 Payload。在 Non⁃Posted 请求 TLP 中，如存储器读请求 TLP 并不含有 Payload 字段，但是 I / O 和配置写请求 TLP 使用 Payload 字段。

● CplH 缓存存放完成报文使用的 TLP 头。

● CplD 缓存存放完成报文使用的 Payload。

PCIe 总线规范将这些缓存使用的 Unit 统称为 FC （Flow Control） Unit，下文将以 FC Unit 简称这些对应缓存的 Unit。因为 Header 的大小固定，所以 Header 缓存能够精确地预知可以容纳几个 Header；而由于 Data 的大小并不固定， Data 缓存无法精确预知可以存放几个 Data，当然 Data 缓存也不可能将 Data 的基本单位设置为 Max_Payload_Size 参数。因为这样做不仅不合理，而且非常浪费资源。将 Header 和 Data 缓存分离，有利于 Data 缓存使用类似 Adap⁃ tive 流量控制的方法使所有 Data 共用一个缓存，从而提高了 Data 缓存的利用率。但是也造成 TLP 因为不能同时具有 Head 和 Data 缓存，而无法传送。

PCIe 总线使用 Credit⁃Based 流控机制， Upstream 节点在发送 TLP 时，必须首先获得 Cur⁃ rent 节点相应缓存的 Credit。如 Upstream 节点发送存储器写请求时，需要同时具有 Current 节点中 PH 缓存和 PD 缓存的 Credit，才能进行。

9. 3. 2　 Current 节点的 Credit

在 PCIe 总线中， Credit⁃Based 流量控制的数据传送规则仍然是 Upstream 节点获得 Credit，之后向 Current 节点发送数据；而 Current 节点将一定数量的报文（N2）转发到 Downstream 节点之后，将向 Upstream 节点反馈 Credit。 PCIe 总线规范也将向 Upstream 节点反馈 Credit 的过程称为 Advertisement。