PCIe访问控制服务（ACS）

最新推荐文章于 2025-02-27 15:30:42 发布
最新推荐文章于 2025-02-27 15:30:42 发布
阅读量2.2w 收藏 139
点赞数 49
分类专栏： PCIe 协议 文章标签： pci-e
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40357487/article/details/120295827
版权




❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️

✨ 1. 为何要用ACS ？

🌟1.1 P2P传输风险

  ATS（Address Translation Services）是一种基于信任的服务协议。如果EP端ATC（Address Translation Cache）声称其发出的访问请求是经过转换后的地址，且该地址刚好落在PCIe交换开关的BAR范围内，则该访问请求不会到达RC，而是被交换开关路由到该地址所对应的EP。也就是说，该访问请求绕过了IOMMU的隔离，进行了P2P（peer-to-peer）传输。

图1 Peer-to-peer PCIe Transaction

图1 Peer-to-peer PCIe Transaction

  PCIe协议允许P2P传输，这也就意味着同一个PCIe交换开关连接下不同EP可以在不流经RC的情况下互相通信。若使用过程中不希望P2P直接通信又不采取相关措施，则该漏洞很有可能被无意或有意触发，使得某些EP收到无效、非法甚至恶意的访问请求，从而引发一系列潜在问题。


🌟1.2 解决方案 - ACS

  ACS协议提供了一种机制，能够决定一个TLP被正常路由、阻塞或重定向。在SR-IOV系统中，还能防止属于VI或者不同SI的设备Function之间直接通信。通过在交换节点上开启ACS服务，可以禁止P2P发送，强迫交换节点将所有地址的访问请求送到RC，从而避开P2P访问中的风险。ACS可以应用于PCIe桥、交换节点以及带有VF的PF等所有具有调度功能的节点，充当一个看门人的角色。


❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️

✨2. ACS服务介绍

🌟2.1 ACS支持的访问控制类型

⭐️2.1.1 ACS基本能力

  ACS支持以下类型的PCIe访问控制：

  • ACS来源验证；
  • ACS转换阻塞；
  • ACS P2P请求事务重定向；
  • ACS完成事务重定向；
  • ACS上行转发；
  • ACS P2P出口控制；
  • ACS定向转换P2P。

⭐️2.1.2 ACS增强能力

  为了提升ACS的隔离及保护能力，在常规ACS控制机制外提供了ACS增强能力，主要有如下四种：

  • ACS I/O请求阻塞；
  • ACS DSP存储器目标访问；
  • ACS USP存储器目标访问；
  • ACS未声明请求重定向。

🌟2.2 ACS访问控制能力的适用范围

  ACS服务是默认关闭的，想要使用ACS访问控制服务需要通过软件配置ACS控制寄存器来打开对应能力。在PCIe系统中可以选择关闭ACS，也可选择全部开启或部分开启ACS访问控制能力。不同PCIe组件对ACS访问控制功能的需求不同，不同的ACS访问控制功能也并非适用于所有的PCIe组件。至于要开启或关闭哪些特定的ACS访问控制能力，则取决于具体的Function类型及其在是否为多Function设备的组成部分。PCIe各组件对ACS访问控制功能的需求，或者说ACS各访问控制能力适用的PCIe组件范围，如下表所示：

表1 ACS访问控制能力的适用范围

-下行端
（单Funtion、多Function）		具备SR-IOV能力的Function
及多Function设备
(不含下行端口Function)		单Function设备
(不含具备SR-IOV能力的单Function及下行系端口Function)
ACS来源验证必选禁用不适用
ACS转换阻塞必选禁用不适用
ACS P2P请求事务重定向支持P2P事务的RP的必选
交换节点下行端口的必选		支持P2P传输的Function的必选 RCiEP的可选不适用
ACS完成事务重定向支持P2P请求重定向的RP的必选
交换节点下行端口的必选		支持P2P请求重定向的Function的必选不适用
ACS上行转发RC支持重定向请求验证的RP的必选禁用不适用
ACS P2P出口控制可选可选不适用
ACS定向转换P2P支持ATS&P2P事务的RP的必选
交换节点下行端口的必选		支持ATS&P2P事务的多Function设备Function的必选不适用
ACS I/O请求阻塞支持ACS扩展能力的RP及交换节点下行端口的必选不适用不适用
ACS DSP存储器目标访问支持ACS扩展能力且有MEM BAR的RP及交换节点下行端口的必选不适用不适用
ACS USP存储器目标访问支持ACS扩展能力且上行端口有MEM BAR的交换节点下行端口的必选RP不适用不适用不适用
ACS未声明请求重定向支持ACS扩展能力的交换节点下行端口的必选
RP 不适用		不适用不适用

表注： 考虑到开启了VF的单Function设备本质上表现与多Function设备无异，ACS也可以应用于具备SR-IOV能力的单Function设备。

📌 除以上表格提到的之外，在ACS实现过程中还应注意：📢📢

  • ACS绝不能用于PCIe-PCI桥之间以及RC事件收集器，这些地方也不能实现ACS扩展能力结构。
  • 除ACS源头验证外，ACS访问控制不适用于多播TLP。
  • RCiEP可以实现ACS但不是必须。单个RC下的RCiEP可以部分开启ACS。

🌟2.3 ACS与非ACS组件间的互操作性

📌 为了确保开启了ACS与未开启ACS的PCIe组件之间互操作性，两者之间应遵循以下原则: 📢📢

  • 若不使用ACS组件的P2P请求重定向及P2P完成重定向功能，则ACS与非ACS组件可混合使用，不影响两者的互操作性，且ACS组件的子集仍然可开启ACS功能。
  • 若PCIe系统使用了ACS P2P请求重定向或/和ACS P2P完成重定向功能，则PCIe系统中使用这些功能的组件必须支持ACS上行重定向请求的上行转发，尤其是 -
    • 相关RP必须支持ACS上行转发，否则RP无法处理上行重定向请求或完成TLP，此时RC也必须实现重定向请求的验证。
    • 每个开启了P2P事务重定向的ACS组件及相关RP之间的所有中间交换节点必须支持ACS上行转发，否则这些交换节点无法处理上行重定向事务。

🌟2.4 ACS P2P控制交互

  对于每一笔P2P请求，多个ACS控制机制会相互影响并最终决定将当前请求的处理方式：① 直接路由到P2P目标、② 视为ACS违例立即拦截 或③重定向上行至RC进行访问验证。P2P完成重定向不受制于ACS P2P 完成重定向机制。

  若Port/Function开启了ACS定向转换P2P功能，无论ACS P2P请求重定向及ACS P2P出口控制设置如何，AT域显示为转换后地址的P2P间存储器访问请求必须被正常路由至其P2P目的Port/Function。如果没有开启ACS定向转换P2P功能，P2P间存储器访问请求必须无条件服从ACS P2P请求重定向及ACS P2P出口控制设置相关机制。具体而言，就是出口控制向量比特、ACS P2P出口控制使能比特（E）及ACS P2P请求重定向比特（R）三者共决定如何处理该P2P请求，如下表所示。

表2 ACS P2P请求重定向及ACS P2P出口控制交互

ER出口控制向量比特对P2P请求的处理方式
00x(0/1)直接路由至P2P目的地
01x(0/1)上行重定向
101视为ACS违例
100直接路由至P2P目的地
111上行重定向
110直接路由至P2P目的地

⚠️ 注意：由于传统Device支持锁定访问，若ACS P2P请求重定向目标为传统Device，无法保证访问的原子性。


🌟2.5 ACS违例错误处理

  硬件或软件设计缺陷均有可能导致ACS违例。为便于隔离错误及分析错误原因，建议在ACS组件中实现AER（Advanced Error Reporting）能力。开启AER prefix/header记录功能后，若出现ACS违例，可通过分析违规请求的prefix/header来定位出现问题的原因。

  当出现ACS违例时，作为完成者的ACS组件应遵循以下规则进行处理：

  • 对于非转发请求，完成者需产生完成状态为CA的完成事务；
  • 完成者需记录并上报ACS违例错误。即便已经发出了CA完成事务，也应照常记录并上报ACS违例错误，并对错误进行记录；若该错误为非致命错误，则按照相关规则对该错误进行处理。

🌟2.6 ACS重定向对排序规则的影响

  开启了ACS P2P请求重定向功能后，重定向之后的P2P请求会出现违反常规的事务排序规则的情况。


⭐️2.6.1 排序违例1 - 完成事务超过转发请求事务

  排序违例：根据PCIe事务排序规则，非宽松排序的完成事务不允许超过转发请求事务。但当P2P转发请求被重定向后，其后续P2P非宽松完成事务会直接被路由到P2P目的地，从而超过了重定向后的转发请求事务。

  解决方案：为了避免以上这种排序违例，可用开启ACS P2P完成重定向功能。开启了ACS P2P完成重定向功能后，所有的P2P非宽松排序完成事务会同P2P转发请求一样被重定向。由于相同TC的请求事务可用超过完成事务，开启完成事务重定向后，即便未开启P2P转发请求重定向，也不会影响排序规则。

  开启了ACS完成事务从定向后，所有的的P2P完成事务都会被先先送往RC再送往P2P目的地，显然这比直接送往P2P目的地要慢，影响传输性能。考虑到开启了宽松排序的完成事务不会被重定向，强烈建议请求者开启完成事务宽松排序，一次提升性能。


⭐️2.6.2 排序违例2 - 请求事务超过转发请求事务

  排序违例：根据PCIe事务排序规则，非转发请求事务或非宽松排序的转发请求事务不允许超过转发请求事务。若ACS P2P请求重定向功能及ACS定向转换P2P功能同时开启，很容易出现部分P2P请求被重定向、部分P2P请求直达P2P目的时的情况，从而引起排序规则违例。

  解决方案：为避免这种排序违例的发生，只有在提前确定该违例不会发生的情况下才能同时开启这两种ACS功能。


❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️❤️

✨3. ACS软件配置

  并不是所以的PCIe组件都具备ACS能力，也不是具备ACS能力的PCIe组件具备所有的ACS访问控制能力。在PCIe设备枚举时，软件查看PCIe ACS扩展能力结构寄存器（图2，图3）来确认PCIe组件是否具备ACS访问控制能力，软件读取ACS能力寄存器来获知其具备哪些ACS能力（图4）。ACS服务在硬件上是默认关闭的，想要使用ACS访问控制服务需要通过软件配置ACS控制寄存器（图5）来打开对应能力。

图2 ACS扩展能力结构

图2 ACS扩展能力结构

图3 ACS扩展能力结构头标

图3 ACS扩展能力结构头标

图4 ACS能力寄存器

图4 ACS能力寄存器

图5 ACS控制寄存器

图5 ACS控制寄存器


📚 参考

  1. PCI Express Base Specification Revision 5.0 Version 1.0 (22 May 2019)
  2. PCI-SIG, ACS Enhancement
  3. PCIE总线的地址问题
  4. PCI-SIG SR-IOV Primer
  5. IOMMU group and PCIe ACS问题
  6. Introduction to PCIe Access Control Services
  7. IOMMU是如何划分PCI device group的
  8. PCIe Glossary | PLDA
  9. PCI Passthrough with PCIe devices behind a non-ACS switch in vSphere
【PCIe】Linux下PCIe驱动开发与学习
smartvxworks的博客
01-21 1万+
PCI Express，是计算机总线PCI的一种，它沿用现有的PCI编程概念及通信标准，但建基于更快的串行通信系统。PCIE总线使用的是高速差分总线，并采用端到端的连接方式， 现在的高速总线基本上都是串行总线，这样可以使用更高的时钟频率。PCIe 版本编码传输速率(GT/S)x4吞吐量(MB/s)1.08b/10b2.512.08b/10b523.0128b/130b8~44.0128b/130b16~85.0128b/130b32~16。
PCIE扫盲转发-理解
penjoy的脚印
06-26 2830
错误类型分为：correctable errors （可被硬件识别并自动校正和恢复）和uncorrectable error（分为non-fatal和fatal），non-fatal由设备驱动软件处理，且链路可恢复数据一般不会丢失，fatal只能由os处理，且一般需要复位，数据会丢失。物理层：8b/10b编解码异常；错误报告（Error Reporting）：通知系统错误发生，pcie中发生错误的设备会通过错误消息逐级将错误发送至root，root接收到错误消息后会产生对应的中断通知os。
关闭Pcie ACS 重定向服务
珂珂可爱多
04-25 2673
在PCIe总线中，P2P（Peer-to-Peer）直通是指在PCIe拓扑中两个EndPoint设备之间直接进行数据传输，而不经过RC侧Memory，P2P直通可以提高数据传输的效率和软件设计的灵活性，P2P通信方式如下图所示。1.1 pcie p2p配置，地址匹配举例EP1 InBound 配置：target_addr: 0x900000000 (ep的ddr地址);
ACS和SMMU
最新发布
weixin_44723297的博客
02-27 696
ACS 主要负责 I/O 设备访问控制 和 权限管理。SMMU 主要负责 内存地址转换 和 内存访问保护。它们相辅相成，在 I/O 虚拟化和内存安全中起到了重要作用，确保设备和内存的访问是安全且合规的。二、开启SMMU的情况下，关闭Acs是不生效的情况在开启 SMMU（System Memory Management Unit）的情况下，关闭 ACS（Access Control Services）不生效的原因涉及到两者在 I/O 虚拟化和内存访问控制中的不同角色与工作方式。
PCIe5.0 AIC CTS测试简介（1）
m0_53559277的博客
01-14 1485
PCIe5.0 CTS
PCIe中ACS知识小记
Summer的博客
10-24 2783
虚拟机内部的访问数据显而易见是带的GPA地址。而目前几乎所有的PCIe 设备都带ACS control，所以它们可以单独assign给不同的VM，但是随之而来的就是即使两个GPU同时assign给同一个VM，由于ACS的存在，他们之间也不会有真正的物理层面的P2P访问。每一个TLP都自带一个address（寻址类TLP），同时每一个endpoint，PCIe switch都自带一段BIOS配置的地址空间范围，一旦这个TLP的address落入某个设备的地址范围，那么这个TLP就属于这个设备并消费。
Windows Azure AppFabric 入门教学系列 (五)：初探Access Control Service
05-19 130
公告：本博客为微软云计算中文博客的镜像博客。部分文章因为博客兼容性问题，会影响阅读体验。如遇此情况，请访问原博客。 本文是Windows Azure AppFabric入门教学的第五篇文章。本文会对AppFabric中的Access Control Service（ACS ZH-CN">）做初步的讲解。为了使后续的学习顺利进行...
pcie的rc ep ats atc acs at关系
技术札记
07-28 1990
at 是pcie报文中两个bit表示当前访问是否经过了iommu转换了 一般第一次ats转换后 由atc中缓存，下次使用直接atc取然后tlp报文at标记已转换 所以是基于信任的 当然同时带来了问题。at是pcie tlp报文中的字段2bit 表示这个报文是否已经转换地址 如果atc查到就会标记为已转换 同时也可能被恶意标记。ats atc是地址转换的两种功能 s是第一次在rc去请求转运地址 c是第一次转换后的缓存 类似cpu的tbl。如果是虚拟地址 就需要到iommu去做地址转换 需要转换就标记at。
访问控制服务（ACS）Facebook
weixin_30515513的博客
05-09 147
string callbackURL = "https://demo.accesscontrol.windows.net";// 需要你注册你的移动应用访问服务wndows azure ACS String FacebookURL = "https://www.facebook.com/dialog/oauth?client_id=" + Uri.EscapeDataString("402......
【PCIe 5.0 - 100】SR-IOV【1】
BGONE的博客
01-12 1万+
PCIe 5.0 SR-IOV与MR-IOV
PCIE2.0规范，英文原版
04-05
5. **访问控制服务（ACS）**：PCIe 2.0引入了ACS，增强了系统安全，提供了对 PCIe 设备间通信的控制，可以防止未经授权的设备访问其他设备。 6. **错误处理和报告**：规范中包含了更完善的错误处理和报告机制，如...
【PCI】PCIe高级错误上报能力AER（十二）
zz2633105的博客
05-27 9641
本文参考PCIe协议 5.0：https://download.csdn.net/download/zz2633105/89204842本文参考intel IP用户指南：https://www.intel.cn/content/www/cn/zh/docs/programmable/683501/23-2-10-0-0/debugging-data-transfer-and-performance-25123.html。
PCIE spec 2.0 PCIE协议 2.0
06-05
- **PCI Express访问控制服务（PCI Express Access Control Services，ACS）**：提供了一套访问控制机制，使得只有授权的设备才能访问特定的资源。 ##### 3. 错误修正与规格更新 除了新特性的引入外，PCIE 2.0还对...
PCIe扫盲——Quality of Service简介
kunkliu的博客
07-02 2137
转载地址：http://blog.chinaaet.com/justlxy/p/5100053466 前面的文章中介绍过，为了保证视频、音频等数据得到优先传输，PCIe总线实现了一种叫做Quality of Service（QoS）的机制。QoS可以满足视频、音频等对Latency和实时性（Isochronous）要求比较高（一般不可以被打断）的应用需求。QoS主要通过VC（Virtual Ch...
PCIe扫盲（10）
Liuqz2009的专栏
09-20 1707
前面的文章提到过，PCI总线中定义两个边带信号（PERR#和SERR#）来处理总线错误。其中PERR#主要对应的是普通数据奇偶校检错误（），而SERR#主要对应的是系统错误（具体如下：普通的数据奇偶校检错误——通过PERR#报告在多任务事务（，又称为）时的奇偶校检错误——通过SERR#报告地址和命令的奇偶校检错误——通过SERR#报告其他错误——通过SERR#报告一个简单的例子如下图所示：PCIe作为一种高速串行总线，取消了PCI总线中的这两个边带信号，采用错误消息的方式来实现错误报告。
PCIe组播介绍（Multicast Operations）
MangoPapa
09-23 6038
❤️ PCIe Multicast组播事务概念介绍、软件配置方案、组播事务处理方法、MC_Overlay机制介绍等等 ❤️
解析PCIE/PCI设备配置空间
tugouxp的专栏
05-15 2084
可以查看配置空间中是否存在PCI_CAP_ID_EXP能力，对应图中的黄色字段，有定义PCI_CAP_ID_EXP就属于PCIE设备，其/sys/devices/pci0000:00/0000:00:1c.4/config文件有4K个字节，比PCI设备（256字节）要多。关于PCIE设备，需要注意的是，如果终端EP是PCIE设备，则链路上有所有的设备也必须是PCIE设备，才能发挥出最大带宽性能，比如下图，0000:02:00.0是N卡PCIE设备，它的上游设备0000:00:1c.4也是PCIE设备。
PCIe 错误检测和处理
热门推荐
奔跑的蜗牛的博客
07-14 1万+
规范使用了四个关于错误的通用术语，定义如下：1.——确定存在错误的过程。错误是由代理发现的，这是由于本地问题，例如接收到坏数据包，或者因为它从另一个设备接收到了发出错误信号的数据包（如中毒数据包）。2.-根据检测到的错误在体系结构寄存器中设置适当的位，作为错误处理软件的辅助。3.—通知系统存在错误情况。这可以采取将错误消息传递到根复合体的形式，假设设备能够发送错误消息。反过来，当根收到错误消息时，它可以向系统发送中断。4.-一个代理通过发送错误消息通知另一个代理错误情况的过程，
【PCIe小知识】如何区分PCIe协议中的P2P和E2E？
itnan110的博客
05-01 4813
上述三种传输方式，如下图所示：图中，蓝色通道表示点对点(Point to Point)传输；红色通道表示**端对端(End to End)传输；绿色通道表示同级间(Peer to Peer)**传输。
评论 53
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MangoPapa

请作者喝瓶可乐吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值