用Transformer端到端车道形状预测Lane Shape Prediction with Transformers

摘要

主流做法（特征提取和后处理）比较有用，但无法学习车道线的细长结构，学习过程有瑕疵。本文提出的端到段方法可以直接输出车道线的形状参数，transformer可以学习全局信息和车道线独有的结构。

引言

提出了个数据集 Forward View Lane (FVL)。

相关工作

和PolyLaneNet类似的思路，在这项工作中，我们的方法也期望参数输出，但不同之处在于这些参数来自车道形状模型，该模型对道路结构和相机姿势进行建模。 这些输出参数具有明确的物理意义，而不是简单的多项式系数。 此外，我们的网络是用 Transformer Block 构建的，该模块在对非局部交互进行建模时表现出注意力，使其能够加强对车道细长结构的捕获和全局上下文信息的学习。

方法

车道形状模型

车道形状的先验模型被定义为道路上的多项式。 通常，三次曲线用于近似平坦地面上的单车道线：

其中，k、m、n、b是实数参数，k！=0；(X, Z) 表示地平面上的点。 当光轴平行于地平面时，从道路投影到像平面上的曲线为：

其中，k’、m’、n’、b’是参数和相机内参、外参的组合，(u, v) 是图像平面上的像素。
对于光轴与地平面成 φ 角的倾斜相机，从倾斜图像平面到倾斜图像平面的变换曲线为：

这里 f 是以像素为单位的焦距，(u’, v’) 是相应的变换。 当 φ = 0 时，曲线函数方程为 3 将简化为等式 2。推导的细节可以在Sec.7中查看。

曲线重新参数化

通过将参数与俯仰角 φ 相结合，倾斜相机平面中的曲线具有以下形式：

这里，两个常数项 n’ 和 b’’’ 没有积分，因为它们包含不同的物理参数。

除此之外，还引入了垂直起点和终点偏移α，β来参数化每条车道线。这两个参数提供了描述车道线上下边界的基本定位信息。
在实际道路条件下，车道通常具有全局一致的形状。 因此，从左到右车道的近似弧具有相等的曲率，因此所有车道将共享 k ‘’, f’’, m’’, n’。 因此，第 t 条车道的输出被重新参数化为 gt：

其中 t ∈ {1, …, T}，T 是图像中的车道数。 每条车道仅在偏置项和下/上边界方面有所不同。

Hungarian拟合损失

匈牙利拟合损失在预测参数和地面实况车道之间执行二分匹配，以找出正负。 匈牙利算法有效地解决了匹配问题。 然后匹配结果用于优化特定车道的回归损失。

二分匹配

我们的方法预测固定的 N 条曲线，其中 N 设置为大于典型数据集图像中的最大车道数。

表示预测曲线。
其中，（0：无线，1：有线）。
ground truth车道标记用序列表示。
其中，r表示r 依次索引范围 R 内的样本点并且。
由于预测曲线的数量 N 大于 ground truth 车道的数量，我们将 ground truth车道也视为一组大小为 N 的填充有非车道