速度性能双双暴涨！直接BEV特征加速在线建图和行为预测

作者 | Xunjiang Gu等  编辑 | 自动驾驶之心

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『BEV感知』技术交流群

本文只做学术分享，如有侵权，联系删文

原标题：通过直接BEV特征注意力加速在线建图和行为预测

论文链

代码链接：https://github.com/alfredgu001324/MapBEVPrediction

作者单位：多伦多大学 Vector Institute NVIDIA Research 斯坦福大学

论文思路：

理解道路几何结构是自动驾驶车辆（AV）技术堆栈中的关键组成部分。尽管高精（HD）地图可以轻松提供此类信息，但它们存在高标注和维护成本。因此，许多最新的研究提出了从传感器数据中在线估计高精地图的方法。绝大多数的最新方法将多相机观测结果编码成中间表示，例如 BEV 网格，并通过解码器生成矢量地图元素。尽管这种架构性能优越，但它会消耗掉中间表示中编码的大量信息，阻碍下游任务（例如行为预测）利用这些信息。在这项工作中，本文提出了显露在线地图估计方法的丰富内部特征，并展示了它们如何更紧密地将在线地图构建与轨迹预测相结合。通过这样做，本文发现直接访问内部BEV特征可以使推理速度提高多达73%，并使在真实世界nuScenes数据集上的预测准确性提高多达29%。

论文设计：

感知自动驾驶车辆（AV）周围的静态环境是自动驾驶中的关键任务，它为下游的行为预测和运动规划模块提供几何信息（例如，道路布局）。传统上，高精（HD）地图一直是理解这些信息的基础，提供厘米级的道路边界、车道分隔线、车道中心线、人行横道、交通标志、道路标记等几何数据。它们在增强AV情境感知和下游预测任务中的导航判断方面起到了不可或缺的作用。然而，尽管HD地图的实用性不容否认，收集和维护这些地图却是劳动密集型且成本高昂的，这限制了它们的可扩展性。

近年来，在线高精（HD）地图估计方法作为一种替代方案出现，旨在直接从传感器观测中预测HD地图信息。以（多）相机图像和可选的LiDAR点云为起点，最先进的HD地图估计方法通常采用编码器-解码器神经网络架构（如图1所示）。编码器首先将传感器观测转换为 BEV 特征网格。然后，解码器从BEV特征中预测地图元素的位置和语义类型。生成的道路几何结构通常按地图元素类型（例如，道路边界、车道分隔线、人行横道）以多段线和多边形的组合形式构建。这些在线估计的地图作为离线HD地图的实用替代品，为下游任务（如行为预测和运动规划）提供必要的场景上下文。例如，最近的研究[13]展示了将各种地图估计方法与现有预测框架相结合的成功，突显了它们在加速端到端自动驾驶技术堆栈开发中的潜力。

虽然这种编码器-解码器方法能够生成准确的高精（HD）地图，但正如本文将在第4节中展示的那样，解码过程中使用的注意力机制计算成本高（占据了模型运行时间的大部分），并且不会生成带有相关不确定性的输出，这限制了下游模块处理不确定性的能力。此外，这种架构阻止了下游任务利用编码器在透视视角到鸟瞰视角（PV2BEV）转换过程中生成的丰富中间特征，导致无法描述为点集的信息被消耗掉。

为此，本文引入了三种新颖的场景编码策略，这些策略利用内部 BEV 特征来提升性能并加速在线地图构建和行为预测系统的运行时间。通过直接利用BEV特征，本文提出的方法在地图估计和行为预测框架之间实现了更紧密的集成，在真实世界的nuScenes数据集上，系统推理速度提高了多达73%，下游预测准确性提高了多达29%。

如第2节所述，绝大多数最先进的在线矢量化地图估计模型在内部采用 BEV 网格，以几何保持的方式对周围环境进行特征化。本文的方法侧重于通过直接访问这些内部BEV表示来进行轨迹预测。通过这样做，本文改善了从地图构建到预测的信息流动，甚至可以通过完全跳过地图解码来加速整个系统的运行时间（取决于预测器对车道信息的需求）。

图1：在线地图估计方法主要将多相机观测结果编码为标准的 BEV 特征网格，然后再解码为矢量化的地图元素。在这项工作中，本文提出通过直接访问在线地图估计方法的丰富BEV特征，将在线地图构建与下游任务深度集成。

图2：将BEV特征融入行为预测的三种不同策略。左：局部区域注意力编码代理与地图的交互；中：用BEV特征增强车道顶点；右：用时间序列BEV特征替换代理轨迹。

实验结果：

图3：本文的集成BEV预测方法在所有场景规模（代理数量和地图元素数量）和地图模型上运行速度都比解耦基线方法更快。

图4：使用第3.1节中的策略结合StreamMapNet [37]和HiVT [40]。通过用时间序列BEV特征替换车道信息，HiVT能够使其预测轨迹保持在当前车道上，与GT轨迹紧密对齐。

图5：使用第3.2节中的策略结合MapTR [22]和DenseTNT [12]。本文通过用BEV特征增强地图顶点，使DenseTNT能够生成非常准确的轨迹，避免了在基线和增强不确定性[13]设置中出现的道路边界入侵问题。

图6：使用第3.3节中的策略结合StreamMapNet [37]和DenseTNT [12]。通过用BEV特征替换代理轨迹信息，DenseTNT能够预测出在斑马线前停下的轨迹，相比于基线和增强不确定性[13]方法中的预测不足和过度问题。

表1：在nuScenes [1]数据集上，几乎每种地图构建和预测的组合都能从直接利用上游BEV特征中受益，某些组合的性能提升甚至达到25%或更多。百分比值表示本文的方法在预测性能上所实现的相对提升。

表2：对BEV patch 大小的探索表明， patch 过小（信息捕获不足）或过大（细粒度信息丢失）都会带来不利影响，最佳性能是在 patch 大小为20×20（对应于现实世界中的6米×6米）时实现的。

总结：

在这项工作中，本文提出了三种不同的策略，以在下游任务（如行为预测）中利用在线地图估计模型中的中间BEV特征。本文系统地评估了不同BEV编码策略的优势，并展示了在下游行为预测中融入BEV特征如何显著提升性能和运行时间。具体而言，结合各种在线地图构建和预测方法，在直接使用中间BEV特征时，实现了推理时间快达73%，并且在多种评估指标上预测准确性提高了多达29%。

引用：

Gu X, Song G, Gilitschenski I, et al. Accelerating Online Mapping and Behavior Prediction via Direct BEV Feature Attention[J]. arXiv preprint arXiv:2407.06683, 2024.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵