同济最新！Co-MTP：多时序融合的协同轨迹预测框架~-CSDN博客

作者 | 自动驾驶专栏来源 | 自动驾驶专栏

点击下方卡片，关注“自动驾驶之心”公众号

>>点击进入→自动驾驶之心『轨迹预测』技术交流群

本文只做学术分享，如有侵权，联系删文

论文链接：https://arxiv.org/pdf/2502.16589
项目主页：https://xiaomiaozhang.github.io/Co-MTP/

摘要

本文介绍了自动驾驶中基于多时相融合的协同轨迹预测框架。车路协同（V2X）已经成为扩展感知范围和穿透遮挡的理想范式。现有工作着重于单帧协同感知，然而如何利用V2X捕获帧之间的时间线索以促进预测任务（甚至规划任务）仍然有待探索。本文引入了Co-MTP，这是一种自动驾驶中基于多时相融合的通用协同轨迹预测框架，它利用V2X系统完全捕获智能体在历史和未来域中的交互，以便于规划。在历史域中，V2X可以补充单车感知中不完整的历史轨迹，并且设计异构图transformer来学习来自多个智能体的历史特征融合，并且捕获历史交互。此外，预测的目标是支持未来规划。因此，在未来域中，V2X可以提供周围目标的预测结果，进一步扩展图transformer来捕获自车规划和其它车辆意图之间的未来交互，并且获得特定规划行为下的最终未来场景状态。本文在现实世界数据集V2X-Seq上评估了Co-MTP框架，结果表明，Co-MTP实现了最先进的性能，并且历史和未来融合均可以极大地有利于预测。

主要贡献

本文的贡献总结如下：

1）本文提出了Co-MTP，这是一种跨历史和未来域的多时相融合的通用协同轨迹预测框架。Co-MTP是首个通过V2X来完全融合和利用综合时间信息的框架；

2）针对历史域中轨迹不完整的问题，本文设计了一种异构图来学习来自多个智能体的历史特征与transformers的融合；

3）为了便于后续规划，本文进一步将异构图扩展到未来域中，以捕获自车规划与其它车辆行为之间的未来交互；

4）本文在现实世界数据集V2X-Seq上评估了Co-MTP框架。结果证明了其最先进的性能，并且历史和未来融合均可以极大地有利于预测和规划。

论文图片和表格

总结

为了充分探索V2X预测中融合和利用综合时间信息，本文引入了Co-MTP，这是首个跨历史和未来域的多时相融合的通用协同轨迹预测框架。在历史域中，本文开发了一种异构图来学习来自多个智能体的历史特征与多层Transformer的融合，以处理历史域中轨迹不完整的问题。本文预测目标支持自动驾驶规划，并且预测结果应该反映出具有特定规划行为的潜在未来。然而，未来域中唯一的规划信息会使车辆对规划过于自信。因此，本文进一步将异构图扩展到未来域中，以捕获自车规划与来自基础设施预测的其它车辆行为之间的未来交互。最后，本文在现实世界数据集V2X-Seq上评估了Co-MTP框架，结果表明，Co-MTP实现了最先进的性能，并且历史和未来融合均可以极大地有利于预测。此外，本文还研究了V2X的鲁棒性，通过延迟和噪声测试了Co-MTP性能。

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com