SMERF，使用SD地图来增强模型的拓扑感知

论文链接

2311.04079v1 (arxiv.org)https://arxiv.org/pdf/2311.04079v1

研究背景

理解道路的拓扑关系是自动驾驶中很重要的一个环节，以往这个部分都是通过HD地图，及高精度地图的数据训练来实现的。高精度地图具备很多的标注信息和很明确的语义信息，模型可以很容易学习到其中的道路拓扑关系。但是高精度地图的维护成本是很高的，而SD地图的成本会低很多，覆盖面也更广，所以文章研究如何使用SD来提升模型对于道路信息的理解。

提出SMERF

作者提出了一种名为SMERF的新型基于Transformer的编码器框架。该框架将SD地图整合到现有的车道拓扑模型中，以提高其性能。具体方法如下：

1. SD地图整合：SD地图用于提供道路层级拓扑的先验信息。这些地图通过Transformer编码器编码成特征表示。
2. 交叉注意力机制：编码后的SD地图特征通过交叉注意力机制与来自车载摄像头输入的特征相结合。这种融合使模型能够更有效地推理车道拓扑，特别是在被遮挡或不太明显的区域。
3. 车道拓扑模型：增强的特征被输入到车道拓扑模型中，以预测车道中心线、交通元素及其关系。

示意图详解：

1. SD地图中的所有连线都是含有高度语义信息的，这里SMERF把每条link中的点的信息都提取出来，单独为每个link都做一个点的序列

2. 叠加上对应道路的道路类型等简单的标注信息，结合起来做编码成一个一个token

3. 输入Transformer编码器中学习，做交叉自注意力机制，最终输出的就是富含地图语义特征的token序列

4. 把这些特征token和地图信息做交叉注意力后，再结合多视角图像backbone后的特征一起去做空间注意力，构造产生新的BEV

5. 最后再利训练一个解码的模型，可以实现模型从SD中学习理解到车道拖布信息并且标注到图像中

SMERF这个方式其实比以往的toponet简洁，性能也不差

实验验证

该方法在OpenLane-V2数据集上进行了验证，这是一个用于自动驾驶的大型真实世界感知数据集。结果表明，在结合SD地图后，各种模型的车道检测和拓扑预测性能均有显著提升。

总结贡献

1. 首次使用SD地图进行车道拓扑理解：这是首次系统地探索SD地图在车道拓扑理解中的作用。
2. 基于Transformer的编码器：引入了一个基于Transformer的编码器模型，以有效利用SD地图。
3. 性能提升：实验证明，使用SD地图显著提升了车道检测和拓扑预测的性能。