CVPR 2024 | 在线建图与轨迹预测如何紧密结合？（多伦多大学）

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

原标题：Producing and Leveraging Online Map Uncertainty in Trajectory Prediction

论文链接：https://arxiv.org/pdf/2403.16439.pdf

代码链接：https://github.com/alfredgu001324/MapUncertaintyPrediction

作者单位：多伦多大学 Vector Institute NVIDIA Research 斯坦福大学

论文思路：

高精（HD）地图在现代自动驾驶汽车（AV）技术栈的发展中扮演了不可或缺的角色，尽管与此相关的标注和维护成本很高。因此，许多近期的工作提出了从传感器数据在线估计HD地图的方法，使自动驾驶汽车能够在先前绘制的区域(previously-mapped)之外运行。然而，当前的在线地图估计方法是独立于其下游任务开发的，这使得它们在自动驾驶技术栈中的整合变得复杂。特别是，它们不生成不确定性或置信度估计。本文扩展了多个最先进的在线地图估计方法，使其能够额外估计不确定性，并展示了这如何使在线建图与轨迹预测更紧密地整合1。在此过程中，本文发现纳入不确定性可以使训练收敛速度提高多达50%，并且在真实世界的nuScenes驾驶数据集上的预测性能提高多达15%。

主要贡献：

本文提出了一个通用的矢量化地图不确定性表述，并扩展了多个最先进的在线地图估计方法，使其额外输出不确定性估计，而不会降低纯建图性能。

本文通过实证分析潜在的地图不确定性来源，确认了当前地图估计方法缺乏置信度的地方，并为未来的研究方向提供了信息。

本文将许多近期的在线地图估计模型与多个最先进的轨迹预测方法相结合，并展示了如何通过纳入在线建图不确定性显著提高下游预测模型的性能和训练特性，加速训练收敛速度高达50%，并提高在线预测准确性多达15%。

网络设计：

自动驾驶的一个关键组成部分是理解静态环境，例如，围绕自动驾驶汽车（AV）的道路布局和连通性。因此，已经开发出高精（HD）地图来捕捉和提供此类信息，包含了道路边界、车道分隔线以及厘米级别的道路标记等语义信息。近年来，HD地图已被证明对于自动驾驶汽车的开发和部署是不可或缺的，今天已被广泛使用[35]。然而，HD地图的标注和长期维护成本高昂，并且它们只能在地理围栏区域(geofenced areas)使用，这限制了自动驾驶汽车的可扩展性(scalability)。

为了解决这些问题，许多近期的研究转向从传感器数据在线估计高精（HD）地图。广义上，它们的目标是预测地图元素的位置和类别，通常以多边形或折线的形式，全部来源于相机图像和激光雷达（LiDAR）扫描。然而，当前的在线地图估计方法并未产生任何相关的不确定性或置信度信息。这是有问题的，因为它导致下游使用者(consumers)隐含地假设推断出的地图组件是确定的，任何建图错误（例如，地图元素的移动或放置不正确）可能导致错误的下游行为。为此，本文提出揭示在线地图估计方法中的地图不确定性，并将其纳入下游模块中。具体来说，本文将地图不确定性纳入轨迹预测，并发现在结合了地图不确定性的 mapper-predictor 系统中（图1）与那些没有结合地图不确定性的系统相比，性能有显著提升。

图1. 从在线高精（HD）地图估计方法中产生不确定性，并将其纳入下游模块中，带来了多种好处。左图：真实的HD地图和代理位置。中图：使用MapTR[22]输出地图的HiVT[41]预测。右图：使用MapTR[22]输出的地图以及增加了点不确定性（由于左侧道路边界被停放的车辆遮挡，不确定性较大）的HiVT[41]预测。

图2. 许多在线高精矢量地图估计方法通过编码多摄像机图像，将它们转换到一个共同的鸟瞰图（BEV）特征空间，并回归地图元素的顶点来运作。本文的工作通过增加一个概率回归头来增强这种常见的输出结构，将每个地图顶点建模为拉普拉斯分布。为了评估由此产生的下游效应，本文进一步扩展了下游预测模型以编码地图不确定性，增强了基于图神经网络（GNN）和基于 Transformer 的地图编码器。

实验结果：

图3. 本文提出的不确定性表述能够捕捉由于自动驾驶车辆（AV）的摄像头与周围地图元素之间的遮挡而产生的不确定性。左图：前方和前右方摄像头的图像。右图：本文增强的在线高精地图模型生成的HD地图。椭圆表示分布的标准差。颜色代表道路边界、车道分隔线、人行横道和车道中心线。

图4. 在一个密集的停车场中，许多模型未能生成准确的地图。左图：后方和后左方摄像头的图像。右图：本文增强的在线高精地图模型生成的HD地图。椭圆展示了分布的标准差。颜色代表道路边界、车道分隔线、人行横道和车道中心线。

总结：

本文提出了一个通用的矢量化地图不确定性公式，并扩展了多种最新的在线地图估计方法，包括MapTR [22]、MapTRv2 [23]和StreamMapNet [38]，使它们能够额外输出不确定性。本文系统地分析了产生的不确定性，并发现本文的方法捕捉到了许多不确定性来源（遮挡、与摄像头的距离、一天中的时间和天气）。最后，本文将这些在线地图估计模型与最新的轨迹预测方法（DenseTNT [13]和HiVT [41]）结合起来，并展示了结合在线地图不确定性显著提高了预测模型的性能和训练特性，分别高达15%和50%。一个激动人心的未来研究方向是利用这些不确定性输出来衡量地图模型的校准度（类似于[16]）。然而，这一任务因需要进行模糊点集匹配而变得复杂，这本身就是一个具有挑战性的问题。

引用：

Gu X, Song G, Gilitschenski I, et al. Producing and Leveraging Online Map Uncertainty in Trajectory Prediction[J]. arXiv preprint arXiv:2403.16439, 2024.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！