ECCV 2024 | UniTraj：可扩展车辆轨迹预测的统一框架

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享ECCV2024最新的工作—UniTraj！可扩展车辆轨迹预测的统一框架。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『轨迹预测』技术交流群

论文作者 | Lan Feng等

编辑 | 自动驾驶之心

ECCV 2024 | UniTraj：可扩展车辆轨迹预测的统一框架

原标题：UniTraj: A Unified Framework for Scalable Vehicle Trajectory Prediction

论文链接：https://arxiv.org/pdf/2403.15098

代码链接：https://github.com/vita-epfl/UniTraj

作者单位：EPFL Valeo.ai Sorbonne Université

论文思路：

车辆轨迹预测越来越依赖于数据驱动的解决方案，但它们在不同数据领域中的扩展能力以及更大数据集规模对其泛化能力的影响仍未得到充分探索。虽然可以通过使用多个数据集来研究这些问题，但由于数据格式、地图分辨率和语义标注类型等方面的差异，这一过程颇具挑战性。为了解决这些挑战，本文提出了UniTraj，一个综合框架，用于统一各种数据集、模型和评估标准，为车辆轨迹预测领域提供了新的机会。特别是，利用UniTraj，本文进行了广泛的实验，发现模型在转移到其他数据集时性能显著下降。然而，增加数据规模和多样性可以大幅提升性能，进而在nuScenes数据集上达到了新的最先进结果。本文提供了对数据集特征的见解，以解释这些发现。

主要贡献：

• 本文介绍了UniTraj，一个综合性的开源框架，用于车辆轨迹预测，集成了各种数据集、模型和评估方法。它为该领域的全面研究提供了一个统一的平台。

• 本文研究了模型在不同数据集和城市中的泛化能力，并提供了关于模型在何种数据集上获得更好泛化能力的见解。

• 本文探索了数据规模对模型性能的影响，利用目前可用的最大数据集集合，在nuScenes数据集上建立了一个新的最先进模型。

• 最后，本文对数据集进行了深入的比较分析，阐明了本文的实验发现。

论文设计：

预测周围车辆的轨迹对于确保自动驾驶系统的安全性和避免碰撞至关重要。随着深度学习的兴起，研究人员开始采用数据驱动的解决方案来应对这一预测任务。然而，尽管这些模型可以达到很高的准确性，它们却严重依赖于用于训练的特定数据域。

自动驾驶系统可能会遇到各种情况，例如不同的地理位置。这些不同的情况提出了数据域的变化，可能会显著影响预测模型的性能。因此，研究模型在不同域（如数据集和城市）中的性能表现至关重要。然而，尽管这一问题非常重要，模型在不同域中的泛化能力尚未得到充分研究。因此，本文的第一个研究问题（RQ1）是调查轨迹预测模型在转移到新域时的性能下降情况。

一个潜在的解决方案是通过扩大数据集的规模，以覆盖更广泛的驾驶场景，从而提高预测模型的泛化能力。尽管在扩展数据集规模方面有一定的趋势 [8,10,14,50]，但数据集规模对轨迹预测模型性能的影响仍未得到充分探索。因此，本文的第二个研究问题（RQ2）是研究增加数据集规模对预测模型性能的影响。

探索这两个研究问题需要利用多个轨迹预测数据集。首先，这些数据集提供了多样化的领域，允许对模型在不同领域中的泛化能力进行全面的考察（RQ1）。其次，结合这些数据集可以创建一个更大的数据集，从而探索数据扩展的渐近极限（RQ2）。然而，利用多个数据集时存在显著的挑战：

1. 每个数据集都有独特的数据格式，这给研究人员使用多个数据集带来了实际困难。

2. 每个数据集的收集和标注策略各不相同，包括半自动预标注和人工校正 [7,8,14]。这导致了多种不一致性，如分辨率、采样率和语义标注类型的差异。

3. 由于数据集设置（例如预测时间跨度）和评估指标（例如WOMD中使用的mAP指标 [14] 和Argoverse 2中使用的brier-FDE指标 [50]）的不同，跨数据集比较模型性能并不简单。

简而言之，虽然每个数据集都为该领域的进步做出了贡献，但它们是独立开发的，没有考虑与现有数据集的协调。因此，许多轨迹预测研究使用单一数据集进行模型训练和评估 [2, 3, 5, 9, 13, 20, 22, 31, 37, 46]。

为了解决这些挑战，本文提出了“UniTraj”，一个综合性的车辆轨迹预测框架。UniTraj无缝集成并统一了多个数据源（包括nuScenes [7]、Argoverse 2 [50] 和 Waymo Open Motion Dataset - WOMD [14]）、模型（包括AutoBot [17]、MTR [46] 和 Wayformer [35]）以及评估方法。UniTraj不仅作为解决本文研究问题的方案，还为社区提供了一个全面且灵活的平台。

首先，它通过提出一个与各种数据集兼容的统一数据结构，设计为能轻松包含新的数据集。其次，UniTraj支持并简化了新方法的集成，提供了众多与轨迹预测任务相关的基本数据处理和损失函数。最后，UniTraj提供了统一的评估指标，以及多样且有见地的评估方法，例如分析长尾数据实例和不同数据样本集群的性能，以便更深入地理解模型行为。图1展示了该框架的概述。

本文使用UniTraj框架进行了广泛的实验，以阐明本文的两个研究问题。本文的研究发现，当模型在不同数据源之间转换时，性能会大幅下降，不同数据集引起的泛化能力也存在差异（RQ1）。本文还展示了通过扩大数据集的规模和多样性，可以在不进行任何架构修改的情况下显著提升模型性能，这使本文在nuScenes公共排行榜上排名第一。这是通过在框架内的所有现有数据集上训练模型实现的。这个统一的数据集是目前可以用来训练车辆轨迹预测模型的最大公共数据集，包括超过200万个样本、1337小时的数据和15个不同的城市。

最后，通过对数据集的深入分析，本文提供了对其特征的更全面理解。本文的分析表明，数据集的泛化能力不仅归因于其规模，还与其内在的多样性有关。本文相信，这个框架为轨迹预测领域开辟了新的机会，并且本文将发布这个框架以促进进一步的进展。

图1：UniTraj框架。该框架统一了各种数据集，形成了目前最大的车辆轨迹预测数据集。它还包括多个最先进的预测模型和各种评估策略，使其适用于轨迹预测实验。该框架能够研究多样的研究问题，包括（RQ1）轨迹预测模型在不同域中的泛化能力和（RQ2）数据规模对预测性能的影响。

表1：数据特征差异的总结。该表展示了每个数据集的特征以及这些特征的统一版本。大多数统一特征是灵活的，用户可以自行选择。

实验结果：

图2：数据集规模与模型性能之间的关系。随着组合数据集规模的增加（从总数据量的20%到100%），AutoBot的预测误差变化情况。

图3：图(a)显示了轨迹类型的分布。它揭示了不同类型之间的不平衡，直线路径是数据集中最常见的轨迹类型。图(b)显示了轨迹的 Kalman difficulty 直方图。为了说明 Kalman difficulty ，本文叠加了三个随机示例。过去的轨迹、真实值和卡尔曼滤波预测分别用红色、蓝色和洋红色表示。图中显示了一个明显的趋势，即简单场景的数量显著高于复杂场景。特别是，WOMD在各类场景中的分布相对平衡。

总结：

总之，本文的研究探讨了推进车辆轨迹预测领域的两个关键研究问题。本文发现，模型在不同域中的泛化面临显著挑战（RQ1），在遇到新数据集或城市时表现出明显的性能下降。此外，本文的研究结果证实，更大且更多样化的数据集显著提升了模型性能和泛化能力（RQ2），强调了数据丰富性的重要性。除此之外，本文发布了UniTraj框架，作为一个多功能工具，为轨迹预测领域的探索开辟了新的机会。本文相信，这一框架将有助于显著推进轨迹预测领域的数据中心研究。

引用：

Feng L, Bahari M, Amor K M B, et al. UniTraj: A Unified Framework for Scalable Vehicle Trajectory Prediction[J]. arXiv preprint arXiv:2403.15098, 2024.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵