在线HD Map生成算法是当前自动驾驶系统摆脱对高精地图依赖的方法之一，现有的算法在远距离范围下的感知表现依然较差。为此，我们提出了P-MapNet，其中的“P”强调我们专注于融合地图先验以提高模型性能。具体来说，我们利用了SDMap和HDMap中的先验信息：一方面，我们从OpenStreetMap中提取了弱对齐的SDMap数据，并将其编码为单独的条件分支输入。尽管改输入与实际HD Map存在弱对齐的问题，我们基于Cross-attention机制的架构能够自适应地关注SDMap骨架，并带来显著的性能提升；另一方面，我们提出了一种用MAE来捕捉HDMap的先验分布的refine模块，该模块有助于让生成的HD Map更符合实际Map的分布，有助于减小遮挡、伪影等影响。我们在nuScenes和Argoverse2数据集上进行了广泛的的实验。
图 1
总结来说我们的贡献如下：
（1）我们的SDMap先验能够提升在线地图生成性能，包含了栅格化（最多可提高18.73 mIoU）和矢量化（最多可提高8.50 mAP）两种地图表示。
（2）我们的HDMap先验能够将地图感知指标提升最多6.34%。
（3）P-MapNet可以切换到不同的推理模式，以在精度和效率之间进行权衡。
（4）P-MapNet是一个远距离HD Map生成的解决方案，对于较远的感知范围能够带来更大的改进。我们的代码和模型已公开发布在https://jike5.github.io/P-MapNet/。
相关工作回顾
（1）在线地图生成
传统的HD Map的制作主要包含SLAM建图、自动标注、人工标注等步骤[1]，这导致了HD Map的成本高、鲜度有限。因此，在线地图生成对于自动驾驶系统是至关重要的。HDMapNet[2]将地图元素通过栅格化进行表示，使用pixel-wise的预测和启发式后处理方法获得矢量化的预测结果。最近的一些方法，如MapTR[4], PivotNet[3], Streammapnet[5]等则基于Transformer架构实现了端到端的矢量化预测，但这些方法仅使用传感器输入，在遮挡、极端天气等复杂环境下性能仍有限。
（2）远距离地图感知
为了让在线地图生成的结果能够更好的被下游模块使用，一些研究尝试将地图感知范围进一步拓展。SuperFusion[7]通过融合激光雷达和相机，通过depth-aware BEV变换，实现了前向90m的远距离预测。NeuralMapPrior[8]通过维护和更新全局神经地图先验来增强当前在线观测的质量、拓展感知的范围。[6]通过将卫星图像与车载传感器数据进行特征聚合来获得BEV特征，进一步再进行预测。MV-Map则专注于离线、长距离的地图生成，该方法通过聚合所有关联帧特征，并使用神经辐射场来对BEV特征进行优化。
概述P-MapNet
整体框架如图 2所示。
3.1 SDMap Prior 模块
SDMap数据生成
本文基于nuScenes和Argoverse2数据集进行研究，使用OpenStreetMap数据生成以上数据集对应区域的SD Map数据，并通过车辆GPS进行坐标系变换，以获取对应区域的SD Map。
BEV Query
SD Map先验融合
3.2、HDMap Prior 模块
直接将栅格化的HD Map作为原始MAE的输入，MAE则会通过MSE Loss进行训练，从而导致无法作为refinement模块。因此在本文中，我们通过将MAE的输出替换为我们的segmentation head。为了让预测的地图元素具有连续性和真实性(与实际HD Map的分布更贴近)，我们使用了一个预训练的MAE模块来进行refine。训练该模块包含两步：第一步上使用自监督学习训练MAE模块来学习HD Map的分布，第二步是通过使用第一步得到的权重作为初始权重，对网络的所有模块进行微调。
4、实验
4.1 数据集和指标
4.2 结果
与SOTA结果对比：我们对所提的方法与当前SOTA方法在短距离（60m × 30m）和长距离（90m × 30m）下的地图生成结果进行比较。如表II所示，我们的方法在与现有的仅视觉和多模态（RGB+LiDAR）方法相比表现出更优越的性能。
我们在不同距离和使用不同传感器模式下，与HDMapNet [14] 进行了性能比较，结果总结在表I和表III中。我们的方法在240m×60m范围的mIOU上取得了13.4%改进。随着感知距离超出或甚至超过传感器检测范围，SDMap先验的有效性变得更加显著，从而验证了SDMap先验的功效。最后，我们利用HD地图先验通过将初始预测结果精细化以使其更加真实，并消除了错误结果，进一步带来了性能提升。
扫一扫
682
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
