量产杀器！P-Mapnet：利用低精地图SDMap先验，建图性能暴力提升近20个点！

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享北理工&清华最新的工作—P-Mapnet，利用低精度地图大幅提升局部高精地图性能，量产杀器！作者已经授权自动驾驶之心原创，如有转载欢迎联系我们。

>>点击进入→自动驾驶之心『高精地图』技术交流群

写在前面

在线HD Map生成算法是当前自动驾驶系统摆脱对高精地图依赖的方法之一，现有的算法在远距离范围下的感知表现依然较差。为此，我们提出了P-MapNet，其中的“P”强调我们专注于融合地图先验以提高模型性能。具体来说，我们利用了SDMap和HDMap中的先验信息：一方面，我们从OpenStreetMap中提取了弱对齐的SDMap数据，并将其编码为单独的条件分支输入。尽管改输入与实际HD Map存在弱对齐的问题，我们基于Cross-attention机制的架构能够自适应地关注SDMap骨架，并带来显著的性能提升；另一方面，我们提出了一种用MAE来捕捉HDMap的先验分布的refine模块，该模块有助于让生成的HD Map更符合实际Map的分布，有助于减小遮挡、伪影等影响。我们在nuScenes和Argoverse2数据集上进行了广泛的的实验。

图 1

总结来说我们的贡献如下：

（1）我们的SDMap先验能够提升在线地图生成性能，包含了栅格化（最多可提高18.73 mIoU）和矢量化（最多可提高8.50 mAP）两种地图表示。

（2）我们的HDMap先验能够将地图感知指标提升最多6.34%。

（3）P-MapNet可以切换到不同的推理模式，以在精度和效率之间进行权衡。

（4）P-MapNet是一个远距离HD Map生成的解决方案，对于较远的感知范围能够带来更大的改进。我们的代码和模型已公开发布在https://jike5.github.io/P-MapNet/。

相关工作回顾

（1）在线地图生成

传统的HD Map的制作主要包含SLAM建图、自动标注、人工标注等步骤[1]，这导致了HD Map的成本高、鲜度有限。因此，在线地图生成对于自动驾驶系统是至关重要的。HDMapNet[2]将地图元素通过栅格化进行表示，使用pixel-wise的预测和启发式后处理方法获得矢量化的预测结果。最近的一些方法，如MapTR[4], PivotNet[3], Streammapnet[5]等则基于Transformer架构实现了端到端的矢量化预测，但这些方法仅使用传感器输入，在遮挡、极端天气等复杂环境下性能仍有限。

（2）远距离地图感知

为了让在线地图生成的结果能够更好的被下游模块使用，一些研究尝试将地图感知范围进一步拓展。SuperFusion[7]通过融合激光雷达和相机，通过depth-aware BEV变换，实现了前向90m的远距离预测。NeuralMapPrior[8]通过维护和更新全局神经地图先验来增强当前在线观测的质量、拓展感知的范围。[6]通过将卫星图像与车载传感器数据进行特征聚合来获得BEV特征，进一步再进行预测。MV-Map则专注于离线、长距离的地图生成，该方法通过聚合所有关联帧特征，并使用神经辐射场来对BEV特征进行优化。

概述P-MapNet

整体框架如图 2所示。

图 2

输入： 系统输入为点云： 、环视相机：，其中 为环视相机数量。通常的HDMap生成任务(例如HDMapNet)可以定义为：

其中 表示特征提取， 表示segmentation head， 则是HDMap的预测结果。

我们所提出的P-MapNet融合了SD Map和HD Map先验，这种新任务( setting)可以表示为：

其中， 表示SDMap先验， 表示本文所提的refinement模块。 模块通过预训练的方式学习HD Map分布先验。类似的，当只使用SDMap先验时，则得到 -only setting：

输出：对于地图生成任务，通常有两种地图表示形式：栅格化和矢量化。在本文的研究中，由于本文所设计的两个先验模块更适合栅格化输出，因此我们主要集中在栅格化的表示上。

3.1 SDMap Prior 模块

SDMap数据生成

本文基于nuScenes和Argoverse2数据集进行研究，使用OpenStreetMap数据生成以上数据集对应区域的SD Map数据，并通过车辆GPS进行坐标系变换，以获取对应区域的SD Map。

BEV Query

如图2中所示，我们首先分别对图像数据进行特征提取和视角转换、对点云进行特征提取，得到BEV特征。然后将BEV特征通过卷积网络进行下采样后得到新的BEV特征：，将该特征图展平得到BEV Query。

SD Map先验融合

对于SD Map数据，通过卷积网络进行特征提取后，得到的特征 与BEV Query进行Cross-attention机制：

经过交叉注意力机制后得到的BEV特征通过segmentation head可以获得地图元素的初始预测。

3.2、HDMap Prior 模块

直接将栅格化的HD Map作为原始MAE的输入，MAE则会通过MSE Loss进行训练，从而导致无法作为refinement模块。因此在本文中，我们通过将MAE的输出替换为我们的segmentation head。为了让预测的地图元素具有连续性和真实性(与实际HD Map的分布更贴近)，我们使用了一个预训练的MAE模块来进行refine。训练该模块包含两步：第一步上使用自监督学习训练MAE模块来学习HD Map的分布，第二步是通过使用第一步得到的权重作为初始权重，对网络的所有模块进行微调。

第一步预训练时，从数据集中获取的真实HD Map经过随机mask后作为网络输入 ，训练目标则为补全HD Map：

第二步fine-tune时， 则使用第一步预训练的权重作为初始权重，完整的网络为：

4、实验

4.1 数据集和指标

我们在两个主流的数据集上进行了评测：nuScenes和Argoverse2。为了证明我们所提方法在远距离上的有效性，我们设置了在三种不同的探测距离：, , 。其中， 范围中BEV Grid的分辨率为0.15m，另外两种范围下分辨率为0.3m。我们使用mIOU指标来评估栅格化预测结果，使用mAP来评估矢量化预测结果。为了评估地图的真实性，我们还使用了LPIPS指标作为地图感知指标。

4.2 结果

与SOTA结果对比：我们对所提的方法与当前SOTA方法在短距离（60m × 30m）和长距离（90m × 30m）下的地图生成结果进行比较。如表II所示，我们的方法在与现有的仅视觉和多模态（RGB+LiDAR）方法相比表现出更优越的性能。

我们在不同距离和使用不同传感器模式下，与HDMapNet [14] 进行了性能比较，结果总结在表I和表III中。我们的方法在240m×60m范围的mIOU上取得了13.4%改进。随着感知距离超出或甚至超过传感器检测范围，SDMap先验的有效性变得更加显著，从而验证了SDMap先验的功效。最后，我们利用HD地图先验通过将初始预测结果精细化以使其更加真实，并消除了错误结果，进一步带来了性能提升。

HDMap先验的感知度量指标。HDMap先验模块将网络的初始预测映射到HD地图的分布上，使其更加真实。为了评估HDMap先验模块输出的真实性，我们利用了感知度量LPIPS 数值越低表示性能越好）进行评测。如表IV所示，在 setting 中LPIPS指标要比 -only setting 中的提升更大。

可视化：

[1] Zhibin Bao, Sabir Hossain, Haoxiang Lang, and Xianke Lin. Highdefinition map generation technologies for autonomous driving. ArXiv, abs/2206.05400, 2022.

[2] Qi Li, Yue Wang, Yilun Wang, and Hang Zhao. Hdmapnet: An online hd map construction and evaluation framework. In 2022 International Conference on Robotics and Automation (ICRA), pages 4628–4634. IEEE, 2022.

[3] Wenjie Ding, Limeng Qiao, Xi Qiu, and Chi Zhang. Pivotnet: Vectorized pivot learning for end-to-end hd map construction, 2023.

[4] Bencheng Liao, Shaoyu Chen, Xinggang Wang, Tianheng Cheng, Qian Zhang, Wenyu Liu, and Chang Huang. Maptr: Structured modeling and learning for online vectorized hd map construction. arXiv preprint arXiv:2208.14437, 2022.

[5] Tianyuan Yuan, Yicheng Liu, Yue Wang, Yilun Wang, and Hang Zhao. Streammapnet: Streaming mapping network for vectorized online hd map construction. arXiv preprint arXiv:2308.12570, 2023.

[6] Wenjie Gao, Jiawei Fu, Yanqing Shen, Haodong Jing, Shitao Chen, and Nanning Zheng. Complementing onboard sensors with satellite map: A new perspective for hd map construction, 2023.

[7] Hao Dong, Xianjing Zhang, Xuan Jiang, Jun Zhang, Jintao Xu, Rui Ai, Weihao Gu, Huimin Lu, Juho Kannala, and Xieyuanli Chen. Superfusion: Multilevel lidar-camera fusion for long-range hd map generation and prediction. arXiv preprint arXiv:2211.15656, 2022.

[8] Xuan Xiong, Yicheng Liu, Tianyuan Yuan, Yue Wang, Yilun Wang, and Hang Zhao. Neural map prior for autonomous driving. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17535–17544, 2023.

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！