一、MapTR
1.1 MapTR概述
已有的实时建图算法:
-
目标检测?无法表达不规则实例
-
语义分割?缺乏拓扑结构 HDMapNet(语义分割+后处理)
-
图结构?稀疏图,复杂度过高 InstraGraM(点检测+GNN)
-
Auto-regression?VectorMapNet (已知前n个车道关键点,预测n+1)
MapTR提出一种DETR-like(一种基于transformer的目标检测网络) 的端到端的HD矢量地图网络结构。
-
permutation-equivalent:将地图实例模拟成一堆点集(并非单一起始结束点序列,而是一堆点集不同排列方式的组合)。分为polyline和polygon两类要素
-
贡献点不在于Encoder,而在于获得BEV特征后,如何处理BEV特征。
1.2 模型结构
cost计算
-
Instance-level Matching :实例级匹配cost计算 (分类cost和回归cost(代码中是用的点对点cost))
-
Point-level Matching :
loss计算 (主要是点对点之间的回归,而不是instance级别的回归)
-
Classification Loss
-
Point2point Loss
-
Edge Direction Loss (约束点序列)
二、MapTR v2
2.1 v1 核心贡献
-
permutation-equivalent modeling :将地图实例模拟成一堆点集(并非单一起始结束点序列,而是一堆点集不同排列方式的组合)。
-
hierarchical query embedding (层次化查询嵌入):类似在自然语言处理中,如果你有一个包含嵌套结构的句子或段落,你可能会使用层次化查询嵌入来将这些信息嵌入到神经网络模型中,以便模型可以有效地处理这种层次结构的数据。
2.2 v1 vs v2
-
decoupled self-attention
-
transformer 复杂度是 n^2,(point query * instance query) ^ 2,计算量巨大。
-
改为decoupled sef-attention,inter-ins self-attention + intra-ins self-attention
-
-
auxiliary one-to-many set prediction
-
center-line
-
取消了部分类别的permutation,如center-line
-
PV vs BEV
-
dense supervision
2.3 模型结构
三、【地平线*自动驾驶之心】在线高精矢量化地图构建SOTA方案MapTR v1/v2、LaneGAP
3.1 核心内容摘要
道路拓扑建模:
方案一(Pixel-wise modeling):基于分割的方式,通过后处理将分割变为一个像素宽度的线,再后处理沿着线trace得到道路拓扑。
方案二(Piece-wise modeling):预测段,再预测段与段的连接关系。
新方案(Path-wise modeling):更长且相对完整,有overlap,可以隐式将分歧点连接关系编码到完整的实例中。
MapTR:
引入permutation-equivalent(等价置换),LaneGAP引入Path-wise modeling。可学好学。
MapTR v2:
中心线分割;支持2d/3d 矢量化地图;模型升级;训练方法升级
-
模型结构,decoder 两个改进
-
v1 训练代价大,v2 只做实例间的self-attention,另外self-attention解耦为2个,推理慢一些,训练快些。
-
pv based cross attention
-
-
正负样本分配
-
车道中心线不给增广图
-
-
辅助监督
四、附录
4.1 术语
FPS :每秒帧数
PV to BEV:某个特定的视角(Point of View)转为鸟瞰视图(Bird's Eye View),即从相机或传感器的特定位置(视角)获取的信息,转换为整个场景的鸟瞰视图。
mAP:mAP 是一种用于评估目标检测模型性能的指标,全称是 mean Average Precision(平均精度均值),值越高表示性能越好。
边缘的余弦相似性:计算两个边缘图像之间的相似性,其中边缘图像指的是包含对象边缘信息的二值图像。常见的边缘检测算法包括Sobel、Canny等,得到两个图像的边缘后,可以使用余弦相似性来衡量它们之间的相似程度。
损失函数(Loss Function ):定义在单个样本上的,算的是一个样本的误差。
代价函数(Cost Function ):定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。
4.2 参考
https://www.eet-china.com/mp/a251318.html
手撕MapTRv2:百忙之中敷衍大家_哔哩哔哩_bilibili
【地平线×自动驾驶之心】在线高精矢量化地图构建SOTA方案MapTR v1/v2、LaneGAP_哔哩哔哩_bilibili