VAD v2: 概率规划的端到端矢量化自动驾驶

24年2月地平线的论文“VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning”。

从大规模的驾驶演示中学习类似人类的驾驶策略是有希望的，但规划的不确定性和不可定性使其具有挑战性。在这项工作中，为了应对不确定性问题，提出了一种基于概率规划的端到端驾驶模型VADv2。VADv2以流方式将多视图图像序列作为输入，将传感器数据转换为环境tokens嵌入，输出动作的概率分布，并对一个动作进行采样以控制车辆。只有使用摄像头传感器，VADv2才能在CARLA Town05基准上实现最先进的闭环性能，显著优于所有现有方法。即使没有基于规则的封装，它也能在完全端到端方式稳定运行。闭环演示展示在 https://hgao-cv.github.io/VADv2 。

如图所示是规划中存在不确定性。环境和动作之间不存在确定性的关系。确定性规划无法对这种不确定性进行建模，尤其是当可行解空间是非凸的。VAD v2基于概率规划，并从大规模驾驶演示中学习环境条件下的动作概率分布。

先介绍一下参考的VAD方法。如图是VAD的总体架构：VAD的整个流水线分为四个阶段。主干包括图像特征提取器和BEV编码器，将图像特征投影到BEV特征。矢量化场景学习旨在将场景信息编码为智体查询和地图查询，并用运动矢量和地图矢量表示场景。在规划的推断阶段，VAD利用自查询通过查询交互可提取地图和智体信息，并输出规划轨迹（表示为自向量）。所提出的矢量化规划约束使训练阶段的规划轨迹规则化。注：* = optional

如图是VADv2的总体架构。VADv2以流方式将多视图图像序列作为输入，将传感器数据转换为环境tokens嵌入，输出动作的概率分布，并对一个动作进行采样以控制车辆。使用大规模驾驶演示和场景约束来监督预测的分布。

作者提出概率规划来应对规划的不确定性。将规划策略建模为环境条件下的非平稳随机过程，公式化为p（a|o）。基于大规模驾驶示范，将规划动作空间近似为概率分布，并在每个时间步长从分布中采样一个动作来控制车辆。

规划行动空间是一个高维连续时空空间a={a}。由于直接拟合连续规划行动空间是不可行的，将规划行动空间离散为一个大的规划词汇集V={ai}i=1～N。具体来说，收集驾驶示范中的所有规划动作，并采用最远轨迹采样来选择N个具有代表性的动作作为规划词汇。V中的每个轨迹都是从驾驶演示中采样的，因此自然满足自车的运动学约束，这意味着当轨迹转换为控制信号（转向、油门和制动）时，控制信号值不会超过可行范围。默认情况下，N设置为4096。

将规划词汇表中的每个动作表示为航路点序列a=（x1，y1，x2，y2，…，xT，yT）。每个航路点对应一个未来的时间戳。假设概率p（a）相对于a是连续的，并且对a的小偏差不敏感，即lim∆a→0[p（a）−p（a+∆a）]=0。受NeRF[35]对5D空间（x，y，z，θ，φ）上的连续辐射场进行建模的启发，采用概率场对从动作空间a到概率分布{p（a）|a}的连续映射进行建模。将每个动作（轨迹）编码为高维规划tokens嵌入E（a），用级联的Transformer解码器与环境信息Eenv进行交互，并与导航信息Enavi和自我状态Estate组合以输出概率，即：

训练的损失包括三项：分布，冲突和场景token

场景tokens包括地图、智体和交通元素，智体包括检测和运动预测，交通元素分为交通牌和红绿灯两个。