2024最新 | 探索自动驾驶端到端算法模型的鲁棒性研究

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享一篇自动驾驶端到端算法模型的鲁棒性研究相关工作！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

近年来，随着深度学习技术取得越来越重大的进展，自动驾驶技术在当今社会变得越来越重要。在典型的自动驾驶系统当中包括不同的功能子模块，比如感知、规划、控制等等。虽然这类方法相对简单，但是可能会存在着累计误差等问题。端到端自动驾驶模型作为一种先进的技术解决方案，将原始传感器数据直接映射到驾驶决策上，大大简化了自动驾驶系统的部署和设计过程。

尽管端到端的算法模型展现出了出色的表现性能，但该类算法也面临着重大的安全挑战。复杂和动态的驾驶环境会给模型引入许多的不确定性，使得算法模型容易受到恶意的攻击。虽然目前已经有大量的研究工作集中在探讨自动驾驶系统中各个任务的鲁棒性，特别是感知任务，但这些研究工作更多强调了环境条件和对抗性输入等弱点，这些弱点可能会误导感知系统，从而进一步导致决策上的失误。此外，尽管端到端自动驾驶模型展现出了卓越的性能、并且具有革命性的创新效果，但学者们对这类算法的鲁棒性研究却非常有限，目前还主要集中在基于回归的模型上，缺乏更全面的自然鲁棒性评估和闭环系统评估。

针对上述提到的相关问题，我们构建了RobustE2E基准用于深入分析端到端自动驾驶对各种噪声干扰的鲁棒性。我们评估了五种传统的对抗性攻击，通过在白盒设置中在任务之间的接口处引入对抗性噪声来引入一种新颖的模块化攻击，并在两个具有代表性的端到端自动驾驶模型的黑盒设置中评估了四大类自然损坏（共17种类型，涵盖五个严重程度级别）。我们的评估从开环模型级别扩展到闭环仿真环境和真实汽车，其中观察到了出现的规划错误。

我们的研究结果表明，即使是最先进的端到端自动驾驶模型，在受到微小扰动的情况下，也会遭遇规划崩溃，其中感知任务的性能会经历最为显著的下降。同时，由于自动驾驶系统中各个子模块之间存在的错误累计效应，会进一步加剧其固有的脆弱性。

论文链接：https://www.mdpi.com/2079-9292/13/16/3299

模块攻击

为了有效评估端到端自动驾驶模型的鲁棒性，我们设计了一种新颖的白盒对抗攻击方法，称之为模块攻击。我们在整个端到端的算法模型的管道中注入和优化噪声，具体的细节如下。

模块噪声设计

首先从输入的原始图像开始，设计一组对抗噪声，其表达方式如下所示。其中表示噪声注入的阶段索引，对应于模型推理的每个阶段，表示模型中包含的子任务总数。噪声被策略性地注入到图像和潜在特征表示中，因此噪声注入的特征选择至关重要。

我们在发生任务指定信息交换的接口处识别候选特征，即在模块交互接口处从上游模块流向下游模块的所有特征信息都包含在特征中。然后，我们通过在模型的计算图中追踪每个候选特征来确定需要扰动的特征集，该特征集合我们用进行表示。如果某个特征在后续阶段仍然相关，则将其包含在特征集合中。整个过程可以用下面的公式进行表示

其中代表着模型计算图中存在的特征集合，我们将策略扰动特征定义为。很明显，是的一个子集，表示中跨各个模块在计算图中持续存在的特征。这允许针对所有相关任务更新每个阶段的噪声。一旦策略扰动特征被确定下来，我们设计了对抗性噪声模板来初始化每一批数据中的噪声，如下所示

其中，代表张量模板函数用于生成与指定特征具有相同维度和形状的空张量，代表用于填充模板的均匀分布。这些模板是后续噪声初始化和更新的基础。

攻击策略

我们假设自动驾驶是一项复杂的智能任务，需要评估整个系统的稳定性，同时考虑每个子模块的漏洞。我们在噪声初始化、噪声传播和存储以及迭代更新等方面来解释了我们设计的攻击策略。

我们按照模型的推理过程依次初始化每个阶段的噪声。对于集合中的属于阶段的所有特征，相应的对抗噪声模板为。我们将噪声模板投影到受特征扰动约束的中作为初始噪声，并聚合阶段的所有特征噪声以获得：

其中表示扩展后跨相关维度的串联操作，表示投影操作。在进行噪声的初始化之后，我们得到噪声存储集合。这些扰动在每个处理阶段被策略性地注入到潜在特征表示中。这个注入的过程可以用下面数学公式进行表示

其中表示具有参数的第个子模块，表示的直接输入特征。模型的状态被统称为，捕捉注入噪声在多个阶段的累积影响。噪声在注入后，噪声将一直被存储直到整个自动驾驶任务完成。然后，我们在每个子任务之后制定攻击的目标函数：

其中，与任务的训练损失函数保持一致。为了优化对抗噪声，我们采用了基于梯度的方法用于最大化，同时确保不可感知性并且逃避检测机制。

其中表示扰动约束的超参数，同时表示迭代次数。这里，在更新之后，噪声也会被投射回相应特征噪声的中。在每次迭代的过程中，噪声都会传播，直到规划阶段结束并进行相应更新。然后将最终的噪声注入模型以完成模块攻击，整个过程可以用如下的伪代码进行表示。

RobustE2E基准

我们提出了RobustE2E基准，这是一个在一致设置下的用于端到端自动驾驶的综合鲁棒性评估基准。RobustE2E基准为研究人员们提供了一个有价值的工具，可以帮助他们更深入地了解各种扰动对端到端自动驾驶鲁棒性的影响，同时有助于开发更为稳健的算法以及在现实场景中部署可靠、安全的自动驾驶模型。RobustE2E基准测试涵盖对抗稳健性和自然稳健性，考虑了2个端到端自主模型、6种渐进式对抗攻击方法和17种自然破坏类型，并包含闭环案例研究。整个测试基准的整体框架如下图所示

RobustE2E测试基准整体框架图

鲁棒性评估方法

端到端的自动驾驶模型容易受到现实环境中各类噪声的干扰。我们将这些干扰分为对抗性攻击和自然破坏，并利用它们来全面评估端到端自动驾驶模型的稳健性。此外，我们将评估扩展到闭环案例研究。

对抗攻击

为了衡量模型在最坏情况下的鲁棒性，我们使用6种白盒对抗攻击作为评估方法。具体来说，我们采用、、、、和模块攻击来生成对抗噪声。这些攻击方法的强度和目标各不相同，提供了更全面的评估标准。我们对上述六种攻击方法进行了调整，并在两种模型上实施了这些方法。前四种方法对视觉输入施加了轻微的扰动，而模块攻击则在模型推理过程的不同阶段注入了有针对性的噪声。由于没有针对中间特征扰动幅度的经验指导，我们选择应用与图像相同的扰动约束。

自然破坏

为了模拟自然破坏的影响，我们利用了17种不同的黑盒自然破坏。具体而言，自然破坏可以分为以下四类，同时每种类型的自然破坏的严重程度等级从1到5不等，总共有80种不同的设置方式

• 噪声：例如高斯噪声、散粒噪声和脉冲噪声

• 模糊：例如玻璃模糊、散焦模糊、运动模糊和变焦模糊

• 天气：例如雾、霜、雪和雨

• 数字失真：例如溅射、对比度、亮度、饱和度、图像压缩和像素化

闭环案例研究

在闭环案例当中我们分别研究了模拟环境和实际环境，详细情况如下：

• 模拟环境中的闭环评估：在开环测试中无法衡量对抗性攻击对自动驾驶的系统性影响。因此，我们将对抗性攻击扩展到闭环模拟环境。模型的规划结果被转换成控制信号（油门、刹车、转向角），完成驾驶操作并影响模拟器的环境，从而创建一个闭环系统

• 现实世界中的闭环评估：我们使用基于英伟达Jetson Nano的自动驾驶汽车JetBot进行了闭环测试，用于展示对抗性噪声对真实自动驾驶系统的潜在危害。我们模拟了黑客渗透JetBot软件的场景，从而能够在软件层对端到端模型进行攻击。由于JetBot的硬件限制，我们使用了一个简单的端到端回归模型，该模型输出预期坐标，然后转换为车辆控制信号。我们进行了有针对性的攻击以模拟恶意劫持，使用输出坐标构建攻击的目标函数，用于向右偏差和加速攻击。

实验结果&评价指标

我们的鲁棒性评估实验是在nuScenes数据集上进行的，其中下图的表1和表2分别展示了UniAD和ST-P3算法模型在对抗性攻击和自然破坏下的主要评估结果

UniAD算法模型的鲁棒性评估结果

对于UniAD算法模型而言，跟踪任务的关键指标Amota从较高的平均值0.576大幅下降到0.148。虽然后续模块的性能也有所下降，但程度远小于跟踪模块。地图模块最为稳健，其中最重要的车道IOU指标平均仅下降了5.32%。运动和占用预测的误差较大，即使是出色的建图任务也无法弥补轨迹模块的脆弱性。由于感知和预测误差，最终的规划结果受到很大影响。攻击后，预测轨迹与实际预期轨迹之间的平均L2误差达到1.72米，而原来的为1.08米。在真实道路上，这个距离可能会引发严重的安全事故。

ST-P3算法模型的鲁棒性评估结果

ST-P3的子任务较少，但整体趋势还是比较相似的。感知层的IoU大幅下降了19.69%，最终导致规划L2误差从平均1.58m增加到2.88m。

下图展示了注入噪声的算法模型和原始算法模型的性能对比。

同一场景中任务攻击前后的可视化结果对比

通过上图可以看出，自车的规划路线出现严重错误，例如急转弯导致侵占草坪。此外，该模型在各种任务中都会出错，例如遗漏周围的车辆并错误预测后方静止车辆的动作。

除此之外，我们也在仿真环境中进行了闭环的实验。我们汇总了6次实验的平均结果，表明攻击后模型的性能指标从88.175下降到29.545，具体的实验结果如下图所示。

此外，下图展示了在模拟仿真环境中的短途路线上的实时噪声注入导致自我车辆在特定位置发生碰撞，并与正常驾驶的帧进行比较。在攻击过程中，车辆摇晃并最终向左转向，与迎面驶来的车辆迎头相撞。

同时，我们也人工构建了一个测试区域，用于进行真实世界鲁棒性的评估实验，该构建的测试区域包括一条大型外环路和中间的多个交叉路口和T型路口，道路上设有交通信号灯。我们在汽车上攻击预训练模型，随机选择汽车的起点，可视化的实验结果如下图所示。可以看出，由于我们的攻击，车辆在右转路口转向右侧树林区域。

结论

本文提出了一种针对端到端自动驾驶的新型对抗性攻击，同时构建了RobustE2E基准来评估端到端自动驾驶对各种噪声的鲁棒性。希望这项研究能够提高人们对端到端自动驾驶稳健性问题的认识，并为增强端到端自动驾驶的关键和敏感模块提供宝贵的指导，以促进其在现实世界中的部署。

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵