LaneATT:Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection论文阅读+代码复现

论文链接：Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection
代码链接：https://github.com/lucastabelini/LaneATT
这篇论文的作者和Poly-lane-net是同一个团队。

本文提出一个基于锚框的类似于object-detection的车道线检测模型，这个锚框的作用是进行特征提取。由于车道线在一般情况下都是连续的和规律的，使用这些特性可以很好的对遮挡和车道线缺失的情况进行信息上的增强。因此提出了基于锚框和attention机制的方法，这种方法可以有效的利用全局信息。

贡献

1，比现有的实时处理模型都要准确，在较大和复杂的数据CULane数据集。
2，训练和推断速度比较快（250FPS）。
3，基于锚框的注意力机制，使检测对象更加精准。

balabala

现状
自动驾驶为了安全，需要对周边的环境和车道进行感知，此外在实际环境中，还需要考虑一些像天气等不利的条件（several adverse conditions），车道线被遮挡也是正常现象。列举其他方法：多项式回归，由于数据不平衡（弯曲的样本少），导致长尾效应。应用中还要求实时处理。
为什么我要这么做
现在的车道线检测方法，大多数基于分割的，输出为像素的分割图。但是现在的方法实时性还是比较难解决的，这是因为基于分割的方法的为数不多的主干网络对实时处理有限制，此外还有很多方法需要后处理的。
自夸
本文的方法速度和实时都最好，使用基于锚框的单步检测模型，使用轻量级的残差网络为主干，并且提出了基于锚框的attention机制

别人的工作

基于分割的方法：
将像素点分类为车道或者背景。由于分割图的产生，后处理（将它解码为一系列的车道线）。

SCNN：对于细长的车道线检测是很有效的但是速度慢（7.5FPS）。

SAD：基于信息蒸馏为了解决大主干网络对速度的影响，可以聚合文本信息。来实时进行检测。

NAS（华为最近提出的，自己创立了数据集，效果碾压别人）：但是耗时严重。

基于行分类的方法：
行分类方法是一种简单的基于输入图像为网格划分的检测方法。对于每一行，只选择一个最可能的一个网格。由于每一行选择一个网格，所以需要对每条具有可能的车道线都要重复操作，这种方法还需要后处理。

其他的一些方法：
FastDraw 不需要后处理，需要分割和行分类的方法。虽然速度高。但是精确度不高。
PolyLaneNet:速度快，但是由于现有的数据集不均衡，造成一些偏差。
Line-CNN：基于锚框，无代码。还提出了后处理方法，速度慢一点，还提出了gan，生成夜里的数据，进行模型增强。

方法

LaneATT是一个anchor-based的单阶段（如YOLOv3[21]或SSD[16]）用于车道检测。上图1显示了该方法的基本原理。它作为输入接收RGB图像。输出为车道边界线（以下称为车道）。为了产生这些输出，一个卷积神经网络网络（CNN）被称为主干网，生成一个特征图
，然后将其合并以提取每个锚点的特征。这些特征与全局特征通过注意力机制结合，通过本地和全局特征，该模型可以更容易地使用来自其他车道的信息，这可能是必要的情况下，如遮挡或者不可见qing’kuang’xia。最后，组合特征被传递到完全连接的层以预测最终的输出通道。
两阶段的目标检测算法会把一定矩形区域的anchor特征池化到一定长度的特征，以用于后面的卷积或全连接层进行预测。对于车道线而言，因为lane的anchor表征不再是矩形区域，而是一条线。因此本文提出了如下公式：

式子中，x_orig，y_orig是起始点的坐标，θ \thetaθ是线的角度方向。这个公式的意思也比较好理解，就是按照网格y坐标找出line上的对应x坐标，这样就可以挑出固定长度的特征出来，长度为特征图F的高度。如果出现了y对应的x点坐标在特征图外，就采用padding的方式补齐。

然后，将这些权重与局部特征相结合，以产生相同维数的全局特征向量：

基于上面提取到的局部特征α ^l o c^ 和全局特征α ^g l o b^。预测分支有两个，分类分支去预测k+1个类别，k个车道线类别和1个背景类别。回归分支基于anchor的起始点s，预测出N个点的坐标与anchor的偏移s (the horizontal distance between the prediction and the anchor’s line)，以及一个线的长度L。因此，车道线的结束点就是e = s+l-1。

NMS

NMS的过滤阈值采用两条车道线的公共y坐标的距离:

s：anchor 的起点
e：anchor的终点

Model trainin

训练时通过距离来区分正负样本，当距离大于Tn时为负样本，当距离小于Tp时为正样本，处于连着之间时舍弃。

Lcls and Lreg are the Focal Loss and the Smooth L1,