这篇论文提出了一种端到端的地图学习方法,与之前工作HDMapNet不同,VectorMapNet无需进行后处理即可完成地图生成。
核心创新点:
本文将该问题构建为稀疏点集预测问题,每个语义元素由N_v个有序二维点列构成的折线表示。这种设置使得我们能够对地图元素之间的空间和拓扑关系进行建模,并强调地图元素的实例特征。
polyline(折线)优势:
- 高精地图通常由不同几何形状的元素混合组成,例如点、线、曲线和多边形。polyline是一种灵活的基元,可以有效地表示这些几何图形;
- 折线顶点的顺序是编码地图元素方向信息的自然方式,这对于车辆规划至关重要;
- 折线表示已被下游自动驾驶模块广泛采用,例如运动预测。
整体流程如下所示:
图像和点云数据经过学习,获得BEV特征,由BEV特征进行类别和关键点检测,再通过类别,关键点和BEV特征(BEV特征图中没表示)生成折线点。
具体流程如下所示:
原始图像经过卷积层,逆透视变换形成图像特征,图像特征再和点云经过动态体素化的pointpillars提取到的点云特征叠加,形成BEV特征;再采用一个基于transformer的set prediction 检测器从BEV特征中学习地图元素的关键点和类别。最后是一个polyline折线生成器,基于前面获得的BEV特征和地图元素关键点和类别,生成地图元素详细的几何polyline。
总体来说,vectorMapNet分为三步,BEV feature 提取、地图元素检测和polyline生成。由于地图元素的结构位置和位置具有广泛的多样性,共同学习它们可能极具挑战性,因此基于bev feature建模Polylines分为两步,将该建模任务解耦为两部分:
1.场景级元素检测,通过预测元素关键点及其类别,来定位和分类所有的地图元素。
2.为检测到的每个地图元素生成对应的polyline顶点序列。