作者 | eyesighting 编辑 | 自动驾驶Daily
原文链接:https://zhuanlan.zhihu.com/p/659804662
点击下方卡片,关注“自动驾驶之心”公众号
ADAS巨卷干货,即可获取
点击进入→自动驾驶之心【高精地图】技术交流群
本文只做学术分享,如有侵权,联系删文
0.前言
本文总结了最近的高精Map、先验Map、局部Map、矢量Map、众包Map相关论文,可作为研究学习的参考资料。
1.Map论文
HDMapNet
题目:HDMapNet: An Online HD Map Construction and Evaluation Framework
名称:HDMapNet:在线高精地图构建和评估框架
论文:https://arxiv.org/abs/2107.06307
介绍了高清语义地图学习的问题,它根据机载传感器观测动态构建局部语义。引入了一种语义地图学习方法HDMapNet,对来自周围摄像机和/或来自 LiDAR 的点云的图像特征进行编码,并预测鸟瞰图中的矢量化地图元素。
![3bb15569ce88108b771e3cbeb83146bf.png](https://i-blog.csdnimg.cn/blog_migrate/3c080cebffe2050fcda86130cd97f0bc.png)
EdgeMap
题目:EdgeMap: CrowdSourcing High Definition Map in Automotive Edge Computing
名称:EdgeMap:汽车边缘计算中的众包高清地图
论文:https://arxiv.org/abs/2201.07973
提出了 EdgeMap,一种众包高清地图,以最大限度地减少网络资源的使用,同时保持延迟要求。设计了一种 DATE 算法,利用多智能体深度强化学习和高斯过程回归,在小时间尺度上自适应卸载车辆数据,并在大时间尺度上预留网络资源。
![54ba05196a16895b5789f621226afe23.png](https://i-blog.csdnimg.cn/blog_migrate/bbeca68ea0ab036d7a57a8561a6a0d16.png)
VectorMapNet
题目:VectorMapNet: End-to-end Vectorized HD Map Learning
名称:VectorMapNet:端到端矢量化高精地图学习
论文:https://arxiv.org/abs/2206.08920
代码:https://github.com/yuantianyuan01/streammapnet
引入了端到端矢量化高清地图学习管道,称为 VectorMapNet。VectorMapNet 获取机载传感器观测结果并预测鸟瞰图中的一组稀疏折线。该管道可以显式地对地图元素之间的空间关系进行建模,并生成对下游自动驾驶任务友好的矢量化地图。
![930fe74a55c7118e74f186c112c33495.png](https://i-blog.csdnimg.cn/blog_migrate/f63e5d0c61c2c9fcc7574960f8710743.png)
![aec28570a716efd49a106e553ed95dd5.png](https://i-blog.csdnimg.cn/blog_migrate/3967601a221599f8978c79619c0d1fdb.png)
MapTR
题目:MapTR: Structured Modeling and Learning for Online Vectorized HD Map Construction
名称:MapTR:在线矢量化高精地图构建的结构化建模和学习
论文:https://arxiv.org/abs/2208.14437
代码:https://github.com/hustvl/MapTR
推出了 MapTR,这是一种结构化的端到端 Transformer,用于高效的在线矢量化高清地图构建。提出了一种统一的排列等价建模方法,即将图元建模为具有一组等价排列的点集,它可以准确地描述图元的形状并稳定学习过程。设计了一种分层查询嵌入方案来灵活地编码结构化地图信息并为地图元素学习执行分层二分匹配。
![bfc9a21b98b060b47ab5eeb8a6b798a4.png](https://i-blog.csdnimg.cn/blog_migrate/4ebc3046a956af5c7909a5b90420a3d8.png)
SuperFusion
题目:SuperFusion: Multilevel LiDAR-Camera Fusion for Long-Range HD Map Generation
名称:SuperFusion:用于远距离高清地图生成的多级激光雷达相机融合
论文:https://arxiv.org/abs/2211.15656
代码:https://github.com/haomo-ai/SuperFusion
重点关注在短距离(即 30 m 以内)构建高精地图的任务,并预测 90 m 以内的长距离高精地图,这是下游路径规划和控制任务所需要的,以提高自动驾驶的平稳性和安全性。为此,提出了一种名为 SuperFusion 的新型网络,在多个层面上利用激光雷达和相机数据的融合。使用 LiDAR 深度来改进图像深度估计,并使用图像特征来指导远程 LiDAR 特征预测。
![ce17fe50a4431943bfb313a3d22c6227.png](https://i-blog.csdnimg.cn/blog_migrate/d24beba770e196c109d271dbfa624edc.png)
CenterLineDet
题目:CenterLineDet: CenterLine Graph Detection for Road Lanes with Vehicle-mounted Sensors by Transformer for HD Map Generation
名称:CenterLineDet:利用车载传感器通过 Transformer 进行道路车道中心线图检测,生成高清地图
论文:https://arxiv.org/abs/2209.07734
代码:https://tonyxuqaq.github.io/projects/CenterLineDet/
提出了一种名为 CenterLineDet 的新颖方法来检测车道中心线以自动生成高清地图。CenterLineDet通过模仿学习进行训练,通过迭代可以有效地利用车载传感器(即6个摄像头和1个激光雷达)检测中心线图形。由于使用类似 DETR 的变压器网络,CenterLineDet 可以处理复杂的图形拓扑。
![4106970031ef41c99b639a11105e64a8.png](https://i-blog.csdnimg.cn/blog_migrate/625fc94bba49fc2fb855cc61a1d883b6.png)
InstaGraMap
题目:InstaGraM: Instance-level Graph Modeling for Vectorized HD Map Learning
名称:InstaGraM:用于矢量化高精地图学习的实例级图建模
论文:https://arxiv.org/abs/2301.04470
提出了在线高清地图学习框架,该框架可以从机载传感器观测中检测高清地图元素。将地图元素表示为图表;提出了 InstaGraM,高精地图的实例级图建模,可带来准确、快速的端到端矢量化高精地图学习。除了图建模策略之外,还提出了由三个阶段组成的端到端神经网络:统一的 BEV 特征提取、地图图组件检测以及通过图神经网络进行关联。
![d7c2b23de54f72845dd163b139e8953d.png](https://i-blog.csdnimg.cn/blog_migrate/9f81980f08c086743fbafbfacf664e53.png)
![77d1dd325c0246ef389136bbfd3c5e88.png](https://i-blog.csdnimg.cn/blog_migrate/a174a98da6be95510392f0f7d81d4b18.png)
THMA
题目:THMA: Tencent HD Map AI System for Creating HD Map Annotations
名称:THMA:腾讯高精地图人工智能系统,用于创建高精地图标注
论文:https://dl.acm.org/doi/abs/10.1609/aaai.v37i13.26848
介绍了腾讯高精地图人工智能(THMA)系统,这是一种创新的端到端、基于人工智能的主动学习高精地图标注系统,能够制作和标注数十万公里规模的高精地图。在THMA中,通过监督学习、自监督学习和弱监督学习,直接从海量高清地图数据集中训练AI模型,以达到下游用户所需的高精度和高效率。
![8b0103cbd92ac9feebbcc8ae002bcf79.png](https://i-blog.csdnimg.cn/blog_migrate/e97479b130f40d273b1f32ee32d0c04f.png)
![d0961c4ccb8d33eb1f211bf12af9aa86.png](https://i-blog.csdnimg.cn/blog_migrate/d0d862a34184fbf81289a81ca137314f.png)
VAD
题目:VAD: Vectorized Scene Representation for Efficient Autonomous Driving
名称:VAD:用于高效自动驾驶的矢量化场景表示
论文:https://arxiv.org/abs/2303.12077
代码:https://github.com/hustvl/VAD
提出了 VAD,一种用于自动驾驶的端到端矢量化范例,它将驾驶场景建模为完全矢量化的表示。所提出的矢量化范例有两个显着的优点。一方面,VAD 利用矢量化代理运动和地图元素作为显式实例级规划约束,有效提高规划安全性。另一方面,通过摆脱计算密集型栅格化表示和手工设计的后处理步骤,VAD 的运行速度比以前的端到端规划方法快得多。
![90ed66ac07286e5ec287939a9d2623b4.png](https://i-blog.csdnimg.cn/blog_migrate/6605cd90beac1c45d74ea24dd611c5d1.png)
NMP
题目:Neural Map Prior for Autonomous Driving
名称:自动驾驶的神经图先验
论文:https://arxiv.org/abs/2304.08481
提出了神经地图先验(NMP),一种全局地图的神经表示。这种表示自动更新自身,提高了本地地图推理的性能。利用两种方法来实现这一目标。首先,为了将强地图先验集成到局部地图推理中,应用了交叉注意,这是一种动态识别当前和先验特征之间相关性的机制。其次,为了更新全局神经地图,利用基于学习的融合模块来指导网络融合以前遍历的特征。
![c6159a85b845ea67ce4c61e48158590d.png](https://i-blog.csdnimg.cn/blog_migrate/29a89e9acb7b933516a2099f644c9f57.png)
![a5f7e8e53533d12b4842708b6b87de78.png](https://i-blog.csdnimg.cn/blog_migrate/0b2fcc772575b68ddf7617d98d428281.png)
VMA
题目:VMA: Divide-and-Conquer Vectorized Map Annotation System for Large-Scale Driving Scene
名称:VMA:大规模驾驶场景分而治之矢量化地图标注系统
论文:https://arxiv.org/abs/2304.09807
代码:https://github.com/hustvl/VMA
设计了一种分而治之的标注方案来解决高精地图生成的空间可扩展性问题,将具有多种几何图案的地图元素抽象为统一的点序列表示,可以扩展到驾驶场景中的大多数地图元素。VMA 高效且可扩展,需要的人力可以忽略不计,并且在空间尺度和元素类型方面具有灵活性。定量和定性地验证了现实世界城市和高速公路场景以及纽约市平面数据库的注释性能。VMA可以显着提高地图生成效率,并且几乎不需要人力。
![40f3e4a65fc057aa60818a59f079d24e.png](https://i-blog.csdnimg.cn/blog_migrate/5288a627500d510a754f01b7da87e39b.png)
MV-Map
题目:MV-Map: Offboard HD-Map Generation with Multi-view Consistency
名称:MV-Map:具有多视图一致性的机外高清地图生成
论文:https://arxiv.org/abs/2305.08851
提出了一种更实用的场外高精地图生成设置,消除了计算限制。提出了一种称为 MV-Map 的新颖的板外管道,它利用多视图一致性,并且可以通过以区域为中心框架的关键设计来处理任意数量的帧。通过体素化神经辐射场 (Voxel-NeRF) 优化的全局 3D 结构来增强不确定性网络。
![50b82d78bab19383dc97f335e534c3e0.png](https://i-blog.csdnimg.cn/blog_migrate/5b42ddec50d85d7c034ee03ecc32f25e.png)
VehFleetHDMap
题目:HD Map Generation from Noisy Multi-Route Vehicle Fleet Data on Highways with Expectation Maximization
名称:利用期望最大化的高速公路上嘈杂的多路线车队数据生成高清地图
论文:https://arxiv.org/abs/2305.02080
提出了一种根据车队数据生成高清地图的系统,该系统可以容忍缺失或错误分类的检测,并且可以处理多条路线的驾驶,生成单个完整的地图,无模型且没有先前的参考线。使用随机选择的驱动器作为枢轴驱动器,执行检测的逐步横向采样。然后使用期望最大化 (EM) 对这些采样点进行聚类和对齐,估计每个驱动器的横向偏移以补偿定位误差。聚类点被其概率密度函数 (PDF) 的最大值替换,并使用改进的矩形线性分配算法连接以形成折线。然后,来自不同路线的车辆的数据被融合成分层奇异地图。
![1d70e7af0199136e648257e1ac425bfb.png](https://i-blog.csdnimg.cn/blog_migrate/f0e9c02a7ed45679cef8b16b1b6b02bb.png)
BeMapNet
题目:End-to-End Vectorized HD-map Construction with Piecewise Bezier Curve
名称:使用分段贝塞尔曲线构建端到端矢量化高清地图
论文:https://arxiv.org/abs/2306.09700
代码:https://github.com/er-muyue/BeMapNet
首创了一种采用统一分段贝塞尔曲线的简洁而优雅的方案。为了端到端地矢量化变化的地图元素,精心设计了一种简单而有效的架构,称为分段贝塞尔高清地图网络(BeMapNet),它被制定为直接集预测范例并且无需后处理。首先先引入了一种新颖的 IPM-PE Align 模块,通过 Transformer 中的通用位置编码将 3D 几何先验注入到 BEV 特征中。然后提出了一个精心设计的分段贝塞尔头来输出每个地图元素的细节,包括控制点的坐标和曲线的段数。此外,基于贝塞尔曲线的逐步恢复,我们还提出了一种有效的点曲线区域损失,用于监督更稳健和精确的高清地图建模。
![a6d3d1c6112eb990a34e37bedb82570b.png](https://i-blog.csdnimg.cn/blog_migrate/a011797105da2c5bfa98cdbd8ad17e8f.png)
MachMap
题目:MachMap: End-to-End Vectorized Solution for Compact HD-Map Construction
名称:MachMap:用于紧凑型高精地图构建的端到端矢量化解决方案
论文:https://arxiv.org/abs/2306.10301
通过深入研究矢量化管道,阐述了一种有效的架构,称为 MachMap,它将高清地图构建任务以端到端的方式制定为鸟瞰空间中的点检测范例。首先,框架中引入了一种新颖的映射压缩方案,从而将矢量化点的数量减少了 93%,而没有任何表达性能下降。在上述过程的基础上,遵循基于查询的通用范例,并提出了一个强大的基线,集成了强大的基于 CNN 的主干(如 InternImage)、基于时间的实例解码器和精心设计的点掩模耦合头。此外,利用额外的可选集成阶段来完善模型预测以获得更好的性能。
![494ca29e06ab9995bd4437da5c55f660.png](https://i-blog.csdnimg.cn/blog_migrate/0d0bba2a2b0f1a715ff8ccb1ff6c756a.png)
MapVR
题目:Online Map Vectorization for Autonomous Driving: A Rasterization Perspective
名称:自动驾驶在线地图矢量化:光栅化视角
论文:https://arxiv.org/abs/2306.10502
代码:https://github.com/ZhangGongjie/MapVR
建议将光栅化的原理集成到地图矢量化中。引入了一种新的基于光栅化的评估指标,该指标具有卓越的灵敏度,更适合现实世界的自动驾驶场景。提出了 MapVR(通过光栅化进行地图矢量化),这是一种新颖的框架,它将可微分光栅化应用于矢量化输出,然后对光栅化高清地图执行精确和几何感知的监督。
![9d04cf71e18f58976b0c0afc5150822a.png](https://i-blog.csdnimg.cn/blog_migrate/456a36a6da22217864c6b365b4dd3e90.png)
InsightMapper
题目:InsightMapper: A Closer Look at Inner-instance Information for Vectorized High-Definition Mapping
名称:InsightMapper:仔细查看矢量化高清映射的内部实例信息
论文:https://arxiv.org/abs/2308.08543
代码:https://github.com/TonyXuQAQ/InsightMapper
提出了 InsightMapper 中的三种新颖设计,它们以不同的方式利用内部实例信息,包括混合查询生成、内部实例查询融合和内部实例特征聚合。
![070b828f679fe1c26890e33b4c088678.png](https://i-blog.csdnimg.cn/blog_migrate/7f409d9efacd79ab0d9d9935871cf003.png)
MapTRv2
题目:MapTRv2: An End-to-End Framework for Online Vectorized HD Map Construction
名称:MapTRv2:在线矢量化高精地图构建的端到端框架
论文:https://arxiv.org/abs/2308.05736
代码:https://github.com/hustvl/MapTR
提出了 MapTR Transformer,这是一种用于在线矢量化高清地图构建的端到端框架。提出了一种统一的排列等效建模方法,即将图元建模为具有一组等效排列的点集,它准确地描述了图元的形状并稳定了学习过程。设计了一种分层查询嵌入方案来灵活地编码结构化地图信息并为地图元素学习执行分层二分匹配。为了加速收敛,进一步引入辅助的一对多匹配和密集监督。
![c596b74f81108bdc4e1ef47f9263fee1.png](https://i-blog.csdnimg.cn/blog_migrate/dfdeff26f33af7d0ddcdff06146c4eba.png)
PivotNet
题目:PivotNet: Vectorized Pivot Learning for End-to-end HD Map Construction
名称:PivotNet:用于端到端高精地图构建的矢量化枢轴学习
论文:https://arxiv.org/abs/2308.16477
提出了一种简单而有效的架构,名为 PivotNet,它采用统一的基于枢轴的地图表示,并被制定为直接集预测范式。提出了一种新颖的点到线掩码模块来对网络中的从属点线先验和几何点线先验进行编码。通过引入序列匹配的概念,提出了一种精心设计的枢轴动态匹配模块来对动态点序列中的拓扑进行建模。为了监督矢量化点预测的位置和拓扑,我们提出了动态矢量化序列损失。
![14691c033d99c37fba380311cf2e97d6.png](https://i-blog.csdnimg.cn/blog_migrate/1fa92a3cc75e067ebe35c0bd8454d092.png)
SensorSatelliteMap
题目:Complementing Onboard Sensors with Satellite Map: A New Perspective for HD Map Construction
名称:车载传感器与卫星地图互补:高精地图构建新视角
论文:https://arxiv.org/abs/2308.15427
探索了一种新的视角,通过使用卫星地图来补充机载传感器来促进高清地图构建。最初为 nuScenes 中的每个样本生成卫星地图图块,并发布补充数据集以供进一步研究。提出了一个分层融合模块,其中包括特征级融合和BEV级融合。特征级融合由掩模生成器和掩模交叉注意机制组成,用于细化机载传感器的特征。BEV 级融合通过对准模块减轻了机载传感器和卫星地图获取的特征之间的坐标差异。
![d1bf2f3b9ffc6ea81ff542287fe53f80.png](https://i-blog.csdnimg.cn/blog_migrate/251291cd58b11434226e1534296a8132.png)
![3132087af62a9b405e11508a77741aca.png](https://i-blog.csdnimg.cn/blog_migrate/e1719fe19846f57048bbbea5dd78a477.png)
StreamMapNet
题目:StreamMapNet: Streaming Mapping Network for Vectorized Online HD Map Construction
名称:StreamMapNet:用于矢量化在线高精地图构建的流式测绘网络
论文:https://arxiv.org/abs/2308.12570
代码:https://github.com/yuantianyuan01/StreamMapNet
![f043291ff74a276b2f53c1c7387742be.png](https://i-blog.csdnimg.cn/blog_migrate/54cf6b5bd3caf6939a2e8832a57be9cc.png)
2.总结
无论是Mobileye 2020年发布的REM、Tesla 2022年发布的众包建图,还是最近/过去几年的各种高精/先验/局部/矢量/众包Map研究和方案,以及最近2022年以来众多车企供应商研发的Mapless/Freemap的ADAS方案,各自首先想的是如何干掉第三方比如高德/百度/腾讯的高精地图,而不是去掉Map本身哈~
① 全网独家视频课程
BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频(扫码即可学习)
![324e48ba08c88f2b640eed8093f85dc0.png](https://i-blog.csdnimg.cn/blog_migrate/0cbaa6506f5834b58e678be83aee4f24.png)
② 国内首个自动驾驶学习社区
近2000人的交流社区,涉及30+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!
![9107bf40c6a172ece4c6e3f468c3d5d2.png](https://i-blog.csdnimg.cn/blog_migrate/c7a790dc0dd2516374c3e556edab6fd5.png)
③【自动驾驶之心】技术交流群
自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群,备注:学校/公司+方向+昵称(快速入群方式)
④【自动驾驶之心】平台矩阵,欢迎联系我们!