车辆轨迹预测系列 (一)：轨迹预测方法综述解析

车辆轨迹预测系列 (一)：轨迹预测方法综述解析

A Survey on Trajectory-Prediction Methods for Autonomous Driving

Abstract—In order to drive safely in a dynamic environment, autonomous vehicles should be able to predict the future states of traffic participants nearby, especially surrounding vehicles, similar to the capability of predictive driving of human drivers. That is why researchers are devoted to the field of trajectory prediction and propose different methods. This paper is to provide a comprehensive and comparative review of trajectory-prediction methods proposed over the last two decades for autonomous driving. It starts with the problem formulation and algorithm classification. Then, the popular methods based on physics, classic machine learning, deep learning, and reinforcement learning are elaborately introduced and analyzed. Finally, this paper evaluates the performance of each kind of method and outlines potential research directions to guide readers.

摘要：为了在动态环境中安全驾驶，自动驾驶汽车应该能够预测附近交通参与者的未来状态，特别是周围车辆，类似于人类驾驶员的预测驾驶能力。这就是为什么研究人员致力于轨迹预测领域并提出不同的方法。本文旨在对过去二十年提出的自动驾驶轨迹预测方法进行全面的比较回顾。它从问题表述和算法分类开始。然后，对基于物理学、经典机器学习、深度学习、强化学习等流行的方法进行了详细的介绍和分析。最后，本文评估了每种方法的性能并概述了潜在的研究方向以指导读者。

1. **Physics-related factors refer to dynamics and kinematics factors of vehicles. **
2. Road-related factors include the modeling of the map information and corresponding traffic rules.
3. Interaction-related factors include the social regulations and inter-dependencies between vehicles’ maneuvers.

这三种因素反映了车辆轨迹预测中需要考虑的不同方面和影响因素：

1、Contextual Factors

Physics-related factors (物理相关因素):

• 定义: 这些因素涉及车辆的动力学和运动学特性，例如速度、加速度、转向角度等，以及车辆运动的基本物理规律。
• 重要性: 物理相关因素影响车辆的实际运动状态和行为模式，对预测车辆轨迹至关重要。例如，基于车辆当前速度和加速度预测其未来位置。

Road-related factors (道路相关因素):

• 定义: 这些因素包括地图信息和相应的交通规则建模，涉及到道路结构、道路类型、交通信号、限速等因素。
• 重要性: 道路相关因素影响车辆在特定道路环境中的行为和轨迹选择。预测时需要考虑车辆是否在高速公路、城市街道或者复杂的交叉口等场景，以及这些场景对车辆行为的规范影响。

Interaction-related factors (交互相关因素):

• 定义: 这些因素涉及到车辆之间的社会互动规则和相互依赖关系，即车辆之间如何相互影响和协调其行动。
• 重要性: 交互相关因素考虑到车辆之间的互动行为，例如超车、跟车、变道等情况。这些因素影响着预测模型如何考虑其他车辆对当前车辆行为的影响，从而更准确地预测未来的轨迹。

总结:

• 物理相关因素关注车辆自身的运动特性和基本物理规律。
• 道路相关因素考虑到道路结构、交通规则以及地图信息对车辆行为的影响。
• 交互相关因素涉及车辆之间的互动和相互依赖关系，对预测模型中考虑的其他车辆的影响进行建模。

这些因素在车辆轨迹预测模型中需要综合考虑，以尽可能准确地预测交通参与者未来的行为和轨迹。

2、Output Types

1. Unimodal trajectory: Prediction methods output a future trajectory for a single or multiple traffic participants.
2. Multimodal trajectory: Prediction methods generate multimodal future trajectories for traffic participants with the probability of each future trajectory.
3. Intention: Prediction methods produce behavior intentions to assist in prediction. Intention can be part of the final output, or just be an intermediate step in the method.

这三个术语描述了车辆轨迹预测方法中不同类型的输出或处理方式：

Unimodal Trajectory Prediction(单一模式):

• 定义: Unimodal trajectory prediction 方法输出单一模式的未来轨迹，用于描述单个或多个交通参与者可能的行进路径。
• 特点: 输出通常是一个确定的轨迹路径，代表模型认为最有可能发生的未来行动路径。这种方法适用于预测较为确定的行为，忽略了不确定性和多样性。

Multimodal Trajectory Prediction(多路径预测):

• 定义: Multimodal trajectory prediction 方法生成多模态的未来轨迹分布，表示交通参与者可能的多种行进路径，并估计每种路径发生的概率。
• 特点: 输出不仅包括单一的预测路径，而是提供多个可能的轨迹选项，每个选项都有一个相应的概率。这种方法能够更全面地考虑到不同可能性，适用于需要处理不确定性的情况。

Intention(意图):

• 定义: Intention 意图预测方法产生交通参与者的行为意图，即预测他们可能的行动目的或行为策略。
• 特点: 意图可以作为最终输出的一部分，也可以作为方法的中间步骤。在预测中，意图帮助解释和预测交通参与者未来的行为选择，例如预测一个驾驶员是否打算转向或超车，这对于避免事故和规划路径非常重要。

总结:

• Unimodal trajectory prediction 关注单一的、最可能的未来轨迹。
• Multimodal trajectory prediction 考虑多样的未来轨迹，并提供每个轨迹的概率。
• Intention prediction 预测交通参与者的行为意图，帮助理解和预测他们的行为选择。

这些概念在车辆轨迹预测中具有重要的应用价值，不同的方法选择取决于需要解决的具体问题和对未来事件不确定性的处理要求。

3、PHYSICS-BASED METHODS

1、Single Trajectory(单一轨迹)

单一轨迹方法通过当前状态和已知的动力学来预测车辆的未来位置。一个简单的例子是恒速模型：

恒速模型：

2、Kalman Filtering(卡尔曼滤波)

卡尔曼滤波方法是一种递归算法，用于通过一系列测量数据更新状态估计，从而降低噪声影响。主要包括预测和更新两个步骤。

预测步骤：

更新步骤：

• [滤波笔记一：卡尔曼滤波（Kalman Filtering）详解-CSDN博客](https://blog.csdn.net/ouok000/article/details/125578636?ops_request_misc=%7B%22request%5Fid%22%3A%22171894398816800215031746%22%2C%22scm%22%3A%2220140713.130102334.pc%5Fall.%22%7D&request_id=171894398816800215031746&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~rank_v31_ecpm-2-125578636-null-null.142^v100pc_search_result_base5&utm_term=Kalman Filtering(卡尔曼滤波)&spm=1018.2226.3001.4187)

• [详解神奇的卡尔曼滤波（Kalman filter）算法_卡尔曼滤波解决的是什么问题-CSDN博客](https://blog.csdn.net/qq_42118719/article/details/112555823?ops_request_misc=&request_id=&biz_id=102&utm_term=Kalman Filtering(卡尔曼滤波)&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-1-112555823.142^v100pc_search_result_base5&spm=1018.2226.3001.4187)

3、Monte Carlo(蒙特卡罗)

• 蒙特卡罗方法详解 - 知乎 (zhihu.com)

4、MACHINE LEARNING-BASED METHODS

1、Gaussian Process(高斯过程)

在高斯过程（Gaussian Process, GP）应用于轨迹预测时，轨迹被视为沿时间轴采样的GP样本。这些样本由N个离散点表示，以进行映射。高斯过程是一种用于定义分布的集合，其中每个有限维度的子集都服从多元高斯分布。高斯过程用于轨迹预测时，假设每条轨迹是一个随机函数的实现。

• 高斯过程-CSDN博客(https://blog.csdn.net/weixin_41503009/article/details/107679560)

• 高斯过程（Gaussian Processes）原理-CSDN博客

2、Support Vector Machine(支持向量机)

支持向量机（Support Vector Machine, SVM）是一种用于分类和回归分析的监督学习模型。其关键在于找到满足分类要求的支持向量，并确定能够最大化分类数据间隔的最优超平面。当SVM应用于轨迹预测问题时，通常将驾驶操作定义为几个类别：左转、右转、直行等。然后使用核函数将输入数据转换为高维空间，并在该空间中执行线性分类以找到驾驶操作，从而预测轨迹。

• 支持向量机（SVM）——原理篇 - 知乎 (zhihu.com)

3、Hidden Markov Model(隐马尔可夫模型)

隐马尔可夫模型（Hidden Markov Model, HMM）是一种经典的基于机器学习的轨迹预测方法。HMM通过马尔可夫链来建模，假设系统在时间 t+1的状态仅与前一时间 t的状态相关，并且状态转移概率与时间无关。

• 隐马尔可夫模型（HMM） (qq.com)
• 隐马尔科夫模型（Hidden Markov Model，HMM）定义及概率计算算法_隐马尔可夫模型-CSDN博客

4、Dynamic Bayesian Network(动态贝叶斯网络)

动态贝叶斯网络（Dynamic Bayesian Network, DBN）是一种用于建模车辆状态和交通参与者之间交互影响的轨迹预测方法。DBN是一种基于贝叶斯网络的时间序列模型，能够处理系统随时间变化的问题。其基本概念和概率推理与贝叶斯网络相同，但引入了时间模板的概念来解决时间问题。

贝叶斯网络，看完这篇我终于理解了(附代码)！ - 知乎 (zhihu.com)

5、DEEP LEARNING-BASED METHODS

• Sequential Network

• Graph Neural Network

• Generative Model

1、Sequential Network(顺序网络)

1）Recurrent Neural Network

与经典的基于机器学习的方法和CNN可以有效处理空间信息不同，RNN旨在处理时间信息

当时间步数较大时，RNN的梯度更容易衰减或爆炸，由此引入LSTM这也是常见做法

2）Convolutional Neural Network

轨迹具有很强的时空连续性，将历史轨迹作为输入，通过在全连接层之后堆叠卷积层来实现时间连续性，并通过全连接层输出未来轨迹。

3）Convolutional and Recurrent Neural Network

RNN能够提取时间特征，非常适合处理时间序列信息；而 CNN 能够提取空间特征，包括交通参与者之间的交互相关因素。

4) Attention Mechanism

注意力机制可以让人类利用有限的注意力资源，从大量的信息中快速过滤掉高价值的信息，深度学习中的注意力机制（AM）模仿人类的思维方式。

2、Graph Neural Network(图神经网络)

当涉及到考虑交互相关因素的预测方法时，环境中的每个对象都可以被视为形成图的节点。尽管一些使用RNN和CNN的方法在提取欧几里德空间数据特征时取得了巨大成功，但许多实际应用场景中的数据都是从非欧几里德空间生成的。由于许多经典的基于深度学习的方法正在处理非欧几里得空间数据，因此这些方法的性能仍然不能令人满意。通常，每个场景都可以看作是一个不规则的图，每个图都有一个大小可变的无序节点，如图11所示。图中每个节点的相邻节点数量不同，从而导致一些重要的操作，例如如卷积，在图像上很容易计算，但不再适合直接在图上使用。尽管如此，图中的每个节点都将具有与其他节点相关的边。此信息可用于捕获对象之间的相互依赖关系。因此，图神经网络（GNN）非常适合基于交互相关的车辆轨迹预测问题

1) Graph Convolutional Network

图卷积网络（GCN）是最流行的图神经网络方法。图卷积网络将卷积运算从传统的图像数据处理扩展到图数据处理。核心思想是学习一个映射函数，它可以从图中节点的特征及其邻居的特征中提取交互感知特征。

2)Graph Neural Network Using Vector Maps

将高清地图应用于轨迹预测，并根据与车辆相关的车道信息执行地图拓扑，以获得其沿车道的未来轨迹。

3)Other Graph Neural Network

注意力机制现在已经广泛应用于基于序列的任务中。它的优点是可以放大数据最重要部分的影响，在聚合特征信息时，GAT 使用注意力机制来确定节点之间的权重。

• Graph Attention Network (GAT)

传统的图神经网络（GNN）如图卷积网络（GCN）在聚合节点信息时使用固定的加权方式，这种方式在处理节点间关系时缺乏灵活性。而 GAT 则通过引入注意力机制，允许模型在聚合邻居信息时赋予不同邻居不同的权重，从而提高了模型的表达能力和灵活性。

3、Generative Model(生成模型)

在轨迹预测任务中，轨迹的多模态给研究带来了不确定性和挑战。为了解释固有的多模态分布，一些研究人员使用生成模型来生成多模态轨迹。用于轨迹预测的生成模型包括生成对抗网络（GAN）和条件变分自动编码器（CVAE）。

• Generative Adversarial Network (GAN)

• Conditional Variational Auto Encoder (CVAE)

1）Generative Adversarial Network

GAN本质上是一种生成模型，主要由两部分组成，即生成器（Generator）和判别器（Discriminator）。生成器用于生成与真实样本相似的随机样本，鉴别器用于判断数据的真假。通过生成器和判别器的不断博弈进化，GAN可以获得质量更高的生成器和判断能力更强的判别器。

2) Conditional Variational Auto Encoder

自动编码器（AE）通过编码器将数据压缩为低维向量表示，并使用解码器对低维向量进行解码以获得重构的输出。 AE 希望最大限度地减少重建错误。然而，AE被指责只是简单地“记住”数据，生成数据的能力很差。CVAE（Conditional Variational Autoencoder，条件变分自编码器）是一种深度生成模型，用于生成和重建数据，并且可以通过条件变量来控制生成过程。CVAE结合了变分自编码器（VAE）的生成能力和条件变量的引导能力，广泛应用于图像生成、序列预测和自然语言处理等领域。

6、REINFORCEMENT LEARNING-BASED METHODS

• Inverse Reinforcement Learning
• Generative Adversarial Imitation Learning
• Deep Inverse Reinforcement Learning

1、Inverse Reinforcement Learning(逆强化学习)

Inverse Reinforcement Learning (IRL) 是强化学习的一个分支，目标是通过观察专家的行为来推断其背后的奖励函数。传统的强化学习问题是已知奖励函数，目标是找到一个最优策略；而 IRL 的目标是已知最优策略，推断出奖励函数。

2、Generative Adversarial Imitation Learning(生成对抗性模仿学习)

Generative Adversarial Imitation Learning (GAIL) 是一种将生成对抗网络（GAN）引入模仿学习的方法。GAIL 通过一个生成器（模仿策略）和一个判别器（区分专家和生成器的行为）来学习专家策略。

3、Deep Inverse Reinforcement Learning(深度逆强化学习)

Deep Inverse Reinforcement Learning (DIRL) 是将深度学习方法应用于逆强化学习的一种技术。DIRL 利用深度神经网络来表示和优化奖励函数，从而处理更复杂和高维的状态空间。

七、Datasets

1. Dataset：数据集名称及参考文献编号。
2. Year：数据集发布的年份。
3. Agents：数据集中涉及的代理对象，包括行人（pedestrians）、骑行者（cyclists）和车辆（vehicles）。
4. Sensors：数据集中使用的传感器类型，包括激光雷达（lidar）、摄像头（camera）和无人机（drone）。
5. Scene：数据采集的场景类型，包括城市（urban）和高速公路（highway）。
6. Duration and tracking quantity：数据集的持续时间和跟踪数据的数量。包括驾驶场景的数量、数据时长、车辆数量等。
7. Data type：数据的类型，包括轨迹（trajectories）、高清地图（HD map）、图像（image）、点云（point cloud）等。
8. Typical methods：针对该数据集常用的典型方法或模型。

详细分析

1、NuScenes (2020)：

• Agents：行人、骑行者、车辆
• Sensors：激光雷达、摄像头
• Scene：城市
• Duration and tracking quantity：1000个驾驶场景
• Data type：轨迹、高清地图
• Typical methods：MHA-JAM, Trajectron++
• Download Link: nuScenes Dataset

2、Waymo Open Dataset (2020)：

• Agents：行人、骑行者、车辆
• Sensors：激光雷达、摄像头
• Scene：城市
• Duration and tracking quantity：103354个10Hz段，20秒每段
• Data type：轨迹、高清地图
• Typical methods：DenseTNT, Scene Transformer
• Download Link: Waymo Open Dataset

3、Lyft Level 5 (2020)：

• Agents：行人、骑行者、车辆
• Sensors：激光雷达、摄像头
• Scene：城市
• Duration and tracking quantity：1000+小时，从23辆车中收集16K英里的数据
• Data type：轨迹、高清地图
• Typical methods：Graph-LSTM
• Download Link: Lyft Level 5 Dataset

4、Argoverse (2019)：

• Agents：车辆
• Sensors：激光雷达、摄像头
• Scene：城市
• Duration and tracking quantity：324,557个有趣的车辆轨迹，1000个驾驶小时
• Data type：轨迹、高清地图
• Typical methods：VectorNet, LaneRCNN
• Download Link: Argoverse Dataset

5、INTERACTION (2019)：

• Agents：车辆、行人
• Sensors：无人机、摄像头
• Scene：城市、高速公路
• Duration and tracking quantity：11个地点，40,000辆车
• Data type：轨迹、高清地图
• Typical methods：IPTM
• Download Link: INTERACTION Dataset

6、HighD (2018)：

• Agents：车辆
• Sensors：无人机
• Scene：高速公路
• Duration and tracking quantity：110500辆车，147驾驶小时
• Data type：轨迹、车道
• Typical methods：MHA-LSTM
• Download Link: HighD Dataset

7、Apolloscape (2018)：

• Agents：行人、骑行者、车辆
• Sensors：激光雷达、摄像头
• Scene：城市
• Duration and tracking quantity：1000公里轨迹
• Data type：轨迹
• Typical methods：GRIP
• Download Link: Apolloscape Dataset

8、KITTI (2013)：

• Agents：行人、骑行者、车辆
• Sensors：激光雷达、摄像头
• Scene：城市、高速公路
• Duration and tracking quantity：50个序列
• Data type：图像、点云
• Typical methods：DESIRE, MANTRA
• Download Link: KITTI Dataset

9、NGSIM (2006)：

• Agents：车辆
• Sensors：摄像头
• Scene：高速公路
• Duration and tracking quantity：两段高速公路的90分钟记录
• Data type：轨迹、车道
• Typical methods：CS-LSTM, TS-GAN
• Download Link: NGSIM Dataset Next Generation Simulation (NGSIM) Vehicle Trajectories and Supporting Data

八、EVALUATION

1、Root Mean Squared Error(均方根误差)

2、Negative Log Likelihood (负对数似然 )

3、Average displacement error (平均位移误差 )

4、Final displacement error(最终位移误差)

5、Miss Rate（错过率）

基于最终位置的L2距离，预测轨迹与地面真实值不在2.0米以内的情况的比例。当预测结果为多模态时，假设预测结果为K条可能的未来轨迹，则根据最优的未来轨迹对ADE、FDE和MR进行判断，分别记为ADEK、FDEK、MRK。

6、Computation Time(计算时间)

计算时间对于方法的机载性能非常重要。自动驾驶车辆的计算能力有限，但轨迹预测模型通常比较复杂，需要巨大的计算资源。为了实现更高水平的自动驾驶，每个模块的计算必须相对较快，以尽可能减少延迟。因此，实时性能或计算成本对于模型来说非常重要。

7、Prediction Horizon(预测范围)

预测范围是指模型可以预测的未来时间步长。一般来说，预测范围越长，在动态甚至随机驾驶环境中的准确度就越低。但为了满足规划控制系统的要求，需要将一定时间段内的轨迹预测结果输入系统，且预测时间不能太短，并与其他模块保持一致。

九、DISCUSSION AND DIRECTIONS

十、Potential Research Directions

1、Advanced Algorithms（算法）:

• New Structures（新结构）: 提示未来的研究可能探索新的算法结构，可能是为了提升处理速度或提高预测准确性。
• Training Methods（训练方法）: 指出可能会发展新的训练方法来优化现有算法或适应新的复杂数据结构。

2、Benchmark（基准测试）:

• Benchmark Dataset（基准数据集）: 表明将有更多标准化的数据集用于测试和比较不同的轨迹预测方法。
• Standard Merits（标准优点）: 强调研究将集中于定义和优化评价算法性能的标准。
• Benchmark Models（基准模型）: 指未来研究会创建或改进标准的参考模型，以便在行业内建立一致的比较基准。

3、Robustness（鲁棒性）:

• Noises（噪声处理）: 研究将着重于如何处理和减少数据中的噪声，以提高算法的鲁棒性。
• Credibility（可信度）: 探讨如何确保预测模型的可信度和可靠性。
• Anti-perturbation（抗扰动）: 强调增强模型对外部干扰的抵抗能力。

4、Integration（整合）:

• Planning and Control（规划与控制）: 研究如何将轨迹预测更好地整合到规划和控制系统中，例如在自动驾驶或机器人路径规划中。
• Decision Making（决策制定）: 指出轨迹预测技术将如何影响和优化决策制定过程。

5、More Information（信息）:

• Interaction（交互）: 着重于研究对象间交互的动态信息，如何收集和利用这些信息进行更精确的轨迹预测。
• Map（地图）: 探索如何更好地利用地图数据来增强轨迹预测。
• Traffic Signs and Rules（交通标志和规则）: 研究交通标志和规则信息如何被整合到轨迹预测中，以适应复杂的交通环境。

6、Future Directions for Trajectory Prediction（轨迹预测的未来方向）:

• 这个大圆圈汇总了所有的研究主题，表明这些领域将是轨迹预测未来发展的关键方向。