【文献阅读 1】轨迹预测显示对抗攻击-AdvDO: Realistic Adversarial Attacks for Trajectory Prediction

一、摘要

主要贡献：Adversarial Dynamic Optimization Method (AdvDO)
性能提升：模型的对抗鲁棒性能提高了54%

二、概念

在自动驾驶领域，很多研究考虑了感知任务的对抗鲁棒性，但是轨迹分析的对抗鲁棒性研究较少。

2.1 现代轨迹预测模型基本属性

• 运动属性：它捕获过去的智能体状态对未来状态的影响
• 交互属性：它反映了每个智能体的状态如何影响其他智能体

*Silo Ignores？谷仓效应是指企业内部因缺少沟通，部门间各自为政，只有垂直的指挥系统，没有水平的协同机制，这种情况下各部门之间未能建立共识而无法和谐运作。

2.2 对抗交通场景生成（Adversarial Traffic Scenarios Generation）

• 第一类：使用生成模型从真实驾驶日志中捕获交通场景分布，并从分布中抽取对抗性样本
• 第二类：通过扰乱真实的交通场景来生成对抗性样本（重点在于选择合适的Threat Model使场景足够贴近真实情况）

*黑盒优化：优化一个没有显式数学表达式或内部结构的目标函数（随机搜索；遗传算法；贝叶斯优化；进化策略）
*白盒优化：目标函数的内部结构、数学表达式或导数等信息是已知的或可获取的，可以利用这些信息来指导优化过程，选择合适的优化方法和策略，以更高效地找到最优解（梯度下降法；线性规划；共轭梯度法；牛顿法等）

2.2 针对预测模型设计对抗攻击的两个挑战

• 生成对抗轨迹：很难从历史轨迹中如此稀疏的采样位置估计正确的车辆动力学参数。
• 对抗评估：现有Evaluation Metrics大多是良性设置，并且ADE值越大不会导致碰撞等后果。

*Benign settings :指的是正常环境或者良性设置。在信息安全领域中，这个术语通常用来描述系统或网络处于正常运行状态下的配置、参数或环境。在这种设置下，系统的行为是合法的、预期的，并且不涉及任何恶意活动或安全威胁。

三、模型

3.1威胁模型（Threat Model）

威胁模型用于合成对抗性轨迹样本，这些样本有两个要求，在真实车辆的物理约束下以及接近真实轨迹；后者尤其重要，因为轨迹历史的巨大改变会混淆未来预测的变化是由于预测模型的脆弱性还是由于历史意义的更根本的变化。

应用领域：分析和预测网络中可能出现的威胁和攻击方式、威胁模型被用来评估系统中存在的安全漏洞和风险、应用安全、物联网安全、云安全、移动安全

3.2 生成模型（Generative Model）

从数据中学习潜在的分布，从而能够生成与训练数据相似的新样本。这些模型可以根据观察到的数据来推断出生成数据的规律性，并生成具有相似特征的新数据。

应用领域：图像生成、语音合成、自然语言处理、图像超分辨率、图像修复和去噪、虚拟现实和游戏开发、图像生成和编辑。

3.3 白盒攻击模型（White-box Threat Model）

攻击者具有对系统或算法内部结构和实现细节的完全了解的情况下进行攻击的模型，在车辆轨迹预测中意味着攻击者“adversary”可以访问所有智能体的模型参数、历史轨迹和未来轨迹。

3.4 动态可微模型（Differentiable Dynamic Model）

指能够被微分的动态模型，对输入、参数或状态的变化具有连续可微的性质。通常用于描述系统的动态行为，其中系统的状态随时间变化。

3.5 生成对抗网络（GAN）

包含两个网络相互竞争，一个网络通过获取输入数据样本并尽可能对其进行修改来生成新数据。另一个网络尝试预测生成的数据输出是否属于原始数据集。换句话说，预测网络决定生成的数据是假的还是真的。系统会生成更新、改进版本的假数据值，直到预测网络不再能够区分假数据值和原始数据值。

• 生成器损失（Generator Loss）：生成器的目标是欺骗判别器，使其无法区分生成的样本和真实样本。因此，生成器的损失函数旨在最小化生成的样本被判别器判断为假的概率，即最大化生成样本被判别器判断为真的概率。
• 判别器损失（Discriminator Loss）：判别器的目标是准确地区分生成的样本和真实样本。因此，判别器的损失函数旨在最小化其在真实样本和生成样本上的分类错误，即最大化真实样本被判别器判断为真的概率，最小化生成样本被判别器判断为真的概率。

生成器和判别器的目标是相互对抗的，因此这种损失函数被称为“对抗性损失函数”。

3.6 连续预测攻击（Attacking Consecutive Predictions）

这种情况通常出现在时间序列预测、自然语言处理、金融预测等领域，模型需要连续地进行预测，每个预测结果都依赖于前面的预测结果或时间序列的历史数据。

3.7 运动学自行车模型（Kinematic Bicycle Model）commonly used

用于描述车辆运动的简化模型。这个模型将车辆抽象为一个简单的自行车形状，以便更容易地预测和控制其运动。这个模型假设车辆是一个刚性的自行车，它有两个独立的运动参量：

• 前轮转角（Front wheel steering angle）：描述了前轮的方向偏转角度。通过控制前轮的转角，可以控制车辆的转向行为。
• 车身偏转角（Yaw angle）：描述了车身相对于前进方向的偏转角度。车身偏转角度可以用来描述车辆的转弯状态。
• 基于这些参数，运动学自行车模型可以估计车辆在一个时间步长内的运动轨迹，例如车辆的位置、速度和加速度。然而，这个模型忽略了诸如车辆的质量、惯性、轮胎摩擦力等动力学因素，因此在高速、复杂环境下可能存在一定的局限性。运动学自行车模型通常用于车辆路径规划、车辆控制算法设计以及仿真等应用中，因为它具有简单、直观和计算效率高的优点，尤其是在需要快速原型设计和验证的情况下。

3.8 基于投影梯度下降的对抗攻击（PGD-Based Attack）

这种攻击方法是对深度学习模型的一种黑盒攻击方法。PGD-based attack 的基本思想是通过在输入空间中迭代地沿着梯度方向扰动原始输入数据，以生成具有最大扰动但仍被分类为错误类别的对抗样本。与其他对抗攻击方法相比，PGD-based attack 更加健壮，并且在许多情况下能够成功攻击模型。

优点：通用性和有效性，可以应用于各种类型的深度学习模型和数据集。

3.9 Adam优化器（Adam optimizer）

Adam optimizer 的核心思想是在训练过程中为每个模型参数维护一个自适应的学习率。它使用梯度的一阶矩估计（即梯度的均值）和二阶矩估计（即梯度的方差）来计算每个参数的自适应学习率。

优点：自适应学习率、有效的默认参数、低内存需求

四、 对抗动态优化方法框架

攻击目标：误导每个时间步的车辆轨迹预测，使 AV 计划执行不安全的驾驶行为。

AdvDo的两个阶段：

• 动态参数估计：基于采样轨迹，利用可微动态模型重建真实密集轨迹，用于估计正确动态参数
• 对抗轨迹生成：设计对抗损失函数，在给定的约束条件下误导轨迹预测

*正则化损失（Regularization Losses）：用于惩罚模型复杂度的一种技术，通常被添加到模型的损失函数中，以限制模型的参数值，防止模型过拟合训练数据；在训练过程中，正则化损失与模型的原始损失函数一起使用，通过权衡原始损失和正则化损失来达到更好的泛化性能。

4.1 Metrics

• General Metrics
• Planning-Aware Metrics（PI-***）

ADE	FDE	MR	ORR	VR
Average Displacement Error	Final Displacement Error	Miss Rates	Off Road Rates	Violation Rates

*Opt-init：Opt-init 指的是优化器的初始状态。
*Opt-end：Opt-end 指的是优化器的结束状态。
*w/o map：without map，在路径规划和导航过程中不使用地图,系统可能依赖于实时的传感器数据（如激光雷达、摄像头、雷达等）来感知周围环境。
*w/map：with map，在路径规划和导航中使用地图,通常包括道路网络、交通标志、交通信号等信息，能够帮助车辆进行路径规划和行驶。

实验结果中，Opt - init比Opt - end表现出更大的优势，这表明当前帧的动态在轨迹预测系统中扮演着重要的角色。

4.2 对抗性训练（Adversarial Training）

对抗性训练已被证明是最有效攻击防御方法。

参考

1.Generative Model
2.GAN
3.github 原文源码