自动驾驶轨迹预测--基础知识篇

自动驾驶预测轨迹作用

轨迹预测一般位于感知模块的后端，规控的前端。自动驾驶系统需要对周围环境信息有一定认知能力，最基本的水平是要识别环境，再上一层则需要理解环境，而再上一层则需要对环境进行预测。在对目标进行预测后，规控便可根据预测信息进行自车的路径规划，并做出决策对可能出现的危险情况进行制动或发出告警，这便是轨迹预测模块存在的意义。模块的输入为感知模块提供的目标track的state信息、道路结构信息，综合考量高精地图信息、目标之间的交互信息，环境的语义信息及目标的意图信息，输出为未来一段时间的轨迹预测（0-5s的时间长度）

在百度 Apollo 行为轨迹预测分为车辆轨迹预测和行人轨迹预测两大类。在车辆轨迹预测中，分为意图预测和速度预测两个过程。意图预测根据不同的场景，通过深度学习神经网络给出各行为意图的概率。如图所示，

处理步骤：
[1] 运动状态编码： 使用一个Encoder（如LSTM）对障碍车的运动历史进行处理，得到障碍车的编码。
[2] 车道线编码： 使用另一套Encoder（可以是LSTM或一维CNN）对车道线进行编码，得到每条车道的编码。
[3] 全局池化： 将每条车道的编码通过一个MLP（多层感知器）进行处理，然后进行全局池化操作，得到对整体大环境的理解——Environment Encoding。
[4] 意图预测： 将障碍物本身的编码、每条车道的编码以及环境编码拼接到一起，然后进行Softmax操作，预测障碍车将来选择每条车道的概率。
输出： 选择每条车道的概率。

相关轨迹预测论文解读
论文一

VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation

VectorNet 是一个分层图神经网络（Hierarchical Graph Neural Network），它直接从向量化表示中编码高清晰度（HD）地图和代理（如车辆和行人）的动态。这种方法与传统的基于图像渲染的方法不同，后者通常使用卷积神经网络（ConvNets）处理渲染后的图像,该论文创新点

• 向量化表示：VectorNet 直接使用向量表示道路组件和代理动态，避免了渲染过程中的信息损失。
• 分层图网络：通过局部图网络处理单个多线段内的向量，然后通过全局图网络模拟所有组件之间的高阶交互。
• 辅助任务：提出了一个新颖的辅助任务，即从上下文中恢复被随机遮蔽的地图实体和代理轨迹，以增强模型对上下文特征的学习。

通过图神经网络直接处理向量化的道路和代理信息，从而提高了行为预测的准确性和效率
模型的输入：

• 高清晰度地图：
  这些地图提供了详细的道路信息，如车道线、交叉口、人行横道、停车标志等。
  地图特征被向量化，表示为一系列具有地理坐标的向量。
• 代理轨迹：
  代理轨迹指的是移动代理（如车辆、行人等）的历史运动轨迹。
  这些轨迹也被向量化，表示为一系列时间序列中的控制点。
• 代理特征：
  包括代理的类型（如车辆、行人）、速度、加速度等动态信息。
  这些特征被编码为节点特征，用于图神经网络中的节点。
• 场景上下文：
  包括交通信号灯的状态、道路标志等与交通场景相关的信息。
  这些信息有助于理解代理可能的行为模式。
• 局部图特征：
  通过局部图网络（Local Graph Network）处理，聚合同一多线段（如车道）内的向量节点特征。
  全局图特征（Global Graph Features）：
• 通过全局图网络：
  处理，模拟不同多线段之间的高阶交互。
  这通常涉及自注意力机制，以捕捉更广泛的上下文信息。
  辅助任务输入（Auxiliary Task Inputs）：

处理过程

• 向量化表示
  将高清晰度（HD）地图中的地理特征（如车道线、交叉口、人行横道等）和代理（如车辆、行人）的动态信息转换为向量序列。
  例如，车道边界可以通过多个控制点定义的样条曲线来近似，而一个停止标志可以由一个单独的点表示。
• 节点特征定义
  每个向量被视为图中的一个节点，节点特征包括：
  起始点和终止点的坐标（可以是2D或3D）。
  属性特征，如对象类型、时间戳（对于轨迹）、道路特征类型或速度限制（对于车道）。
  多线段组ID和语义标签。
• 局部图构建
  构建子图，将属于同一多线段的向量节点连接起来，形成局部图。
  使用多层感知器（MLPs）来转换和聚合局部图中的节点特征。
• 全局图构建
  将所有多线段节点连接起来，形成一个全局图，以便模拟不同轨迹和地图特征之间的高阶交互。
  通常使用自注意力机制来实现全局图的构建。
• 坐标归一化
  为了使输入节点特征与目标代理的位置无关，将所有向量的坐标归一化，使其以目标代理在最后观测时间步的位置为中心。
• 辅助任务输入处理
  在训练过程中，随机遮蔽输入节点特征，要求模型预测这些被遮蔽的特征。
  这有助于鼓励模型更好地捕捉节点之间的交互。
• 时间步长采样
  对于代理轨迹，从历史轨迹中以固定的时间间隔（如每0.1秒）采样关键点，并将这些点连接成向量。
• 特征编码
  对于HD地图特征和代理轨迹，使用图神经网络（GNNs）来编码这些向量集合，形成可以用于预测的特征表示。
  计算预测轨迹和实际轨迹之间的误差，通常使用均方误差（MSE）或平均位移误差（ADE）等指标。计算辅助任务的损失，如节点特征的预测误差。通过这些处理步骤，VectorNet 能够将复杂的道路和代理动态信息有效地编码为图结构，进而用于行为预测任务。这些步骤确保了模型能够捕捉到必要的空间和语义信息，从而提高预测的准确性