【笔记】Evaluating Adversarial Attacks on Driving Safety in Vision-Based Autonomous Vehicles

引言

在本文中，我们的目标是通过评估两种类型的代表性对抗性攻击、扰动攻击和补丁攻击对基于视觉的自动驾驶系统驾驶安全性的影响来回答上述问题，而不是深度学习模型的准确性。我们还研究了导致对抗性攻击检测精度与驾驶安全性解耦的原因。
如何搭建这样的一个架构来进行评估？需要解决以下两个问题：
1． 首先，3D对象检测器的结果只包含静态信息，如位置和维度。因此，我们无法确定哪些对象正在移动，哪些是静态的。
2． 为了真实地为自动驾驶自我车辆生成计划的轨迹，必须为运动规划模块提供真实的驾驶约束，例如不同道路类型和不同车辆的动力学模型的速度限制。

为了解决上面这些问题，笔者做出了以下方案：

1. 训练了一个基于 CNN 的分类器，该分类器具有手动标记的基本事实，以分类对象是否移动或静态。
2. 我们用道路类型标签训练另一个分类器来对每个场景的道路类型进行分类，以便选择合适的驾驶约束。

为什么对抗性攻击下对象的检测精度不会影响驾驶安全？笔者发现，解耦的原因是扰动攻击更容易误导物体检测器检测路边的幽灵物体，这对驾驶安全影响很小，但对检测精度影响很大。

相关研究

对抗性攻击的主要思想是利用输入中的微小变化来触发深度学习模型输出中的重大错误。

对抗性攻击类型

1. 扰动攻击

影响输入图像中的所有像素，但像素的变化非常小。
这种类型的对抗性攻击的目标是通过对人眼无法察觉的图像中的每个像素添加小的更改来使深度学习模型功能失调。
利用深度学习模型的先验知识，攻击者可以通过侵入自动驾驶系统并干扰相机图像来发起扰动攻击。

2. 补丁攻击

只攻击图像中的少量像素，但像素的变化较大。
在基于视觉的3D对象检测的上下文中，发起补丁攻击以误导检测器，使得其通过将补丁包括在图像的视图中来检测重影对象。

对抗性攻击的方法

1. 基于优化的方法

可以用于通用攻击或特定于输入的攻击。在肉眼不可见的情况下，加入扰动，导致模型分类出错。

2. 快速梯度步长方法

在白盒环境下，通过求出模型对输入的导数，然后用符号函数得到其具体的梯度方向，接着乘以一个步长，得到的“扰动”加在原来的输入上就得到了在FGSM攻击下的样本。

端到端的自动驾驶安全评估架构

架构模型：
黑线表示我们评估框架的数据流，红线表示自动驾驶系统的数据流。

1. 红：立体图像（stereo images）被放到3D对象检测模块，再到运动规划模块执行驾驶运动

2. 黑：检测到3D检测模块输入的对象（仅包含静态信息，即对象类别、框尺寸、框在3D空间中的中心位置和置信度得分。）。

   输入驾驶约束（driving constraint)来真实地生成自动驾驶车辆的计划轨迹。此外，由于真实驾驶场景可以动态变化，因此我们必须相应地选择适当的真实驾驶约束条件来进行驾驶安全评估。

在此基础上如何区分对象是静态和动态？

在本文中，作者训练了一个基于CNN的运动对象分类器C（.,.,.） 即moving object classifier，通过利用连续的图像数据帧来区分动态和静态对象。同时作者用正确答案手动标记每个对象，指示该对象是否移动。

除此之外，作者还训练了一个基于CNN的驾驶约束选择器模型S(.,.,.)，即driving constraint selector，它可以对驾驶场景的道路类型进行分类并选择适当的真实驾驶约束进行评估。

C，S再结合目标区域g、成本函数c，可以形成规划场景，送往运动规划模块。该模块输出计划车辆状态的时间序列（具有计划驾驶运动的轨迹 trajectory with driving motions）。
方法：
CommonRoad作为框架，并利用具有采样运动原语的内置A*作为运动规划方法。

驾驶安全的最终评估由评估模块（evaluation module）在处理大量驾驶场景的基础上进行。评估模块将规划的轨迹纳入规划场景，并检测数据集中每个驾驶场景的碰撞，并根据所有检测到的碰撞生成驾驶安全性能分数。

采用的方法：
Stereo R-CNN and DSGN

自动驾驶的安全性能指标

1. 成功规划率

ktrj 该数据集中可以成功生成轨迹的场景数量, kdts 数据集中场景的总数
m suc = k trj/ k dts

2. 碰撞率

我们将碰撞率m cls定义为碰撞发生的所有成功规划轨迹中的场景的百分比

3. 安全驾驶率

安全驾驶率。安全驾驶率m saf被定义为数据集中场景的百分比，其中运动规划模块可以产生无碰撞轨迹。
msaf = (1- m cls)*m suc

实验结论

1. 扰动攻击
   基于视觉的三维物体探测器在扰动攻击下的精度下降幅度较大，并不意味着驾驶安全风险更高。
   除此之外，通过比较DSGN和Stereo R-CNN在扰动攻击下的驾驶安全性，我们可以观察到，当两者在相同的驾驶意图场景和相同的强度下进行测试时，Stereo R-NN的驾驶安全指标的变化往往大于DSGN的变化。因此，在驾驶安全方面，立体声R-CNN比DSGN更容易受到扰动攻击。
2. 补丁攻击
   在补丁攻击下，3D物体探测器的精度略有下降并不意味着驾驶安全风险较小。
   在精心设计的特定补丁攻击下，DSGN 的平均精度下降仅小于 6%，驾驶安全性能指标几乎保持不变，而 Stereo R-CNN 在随机补丁攻击和特定补丁攻击下表现更差.

总结

1. 基于视觉的物体检测器在攻击下的精度下降或错误率增加不能代表它们对自动驾驶汽车驾驶安全的鲁棒性。
2. 当对立体声R-CNN发动的攻击处于相同强度水平时，立体声R-CNN在驾驶安全性和检测精度方面不如DSGN稳健。因此，DSGN具有较强的鲁棒性和较高的检测精度，是基于视觉的三维物体检测的较好选择。
3. 通过广泛的评估实验，我们发现三维物体探测器在扰动攻击下精度的显著下降只会导致驾驶安全性能指标的轻微下降，但在补丁攻击下三维物体探测器精度的轻微下降会导致驾驶安全性能的显著下降。这一发现表明，从驾驶安全性而非模型精度的角度来评估深度学习模型的稳健性是可取的。