CLRNet: Cross Layer Refinement Network for Lane Detection

论文下载地址：https://arxiv.org/pdf/2203.10350.pdf
代码下载地址：https://github.com/Turoad/CLRNet

摘要

车道线是智能车辆视觉导航系统的关键。自然，车道线是一种具有高级语义的交通标志，但它具有特定的局部模式，需要详细的底层特征才能准确定位。使用不同的特征级别对于准确的车道检测非常重要，但这方面的研究仍然不足。在这项工作中，我们提出了跨层细化网络（CLRNet），旨在充分利用车道检测中的高级和低级特征。特别是，它首先检测具有高级语义特征的车道，然后基于低级特征进行细化。这样，我们可以利用更多的上下文信息来检测车道，同时利用局部详细的车道特征来提高定位精度。我们提出了ROIGather来收集全局上下文，这进一步增强了车道的特征表示。除了我们新颖的网络设计之外，我们还引入了线性IoU损失函数，将车道线作为一个整体进行回归，以提高定位精度。实验表明，该方法的性能明显优于现有的车道检测方法。

1.介绍

车道线检测是计算机视觉中一项重要而富有挑战性的任务，，其可应用在自动驾驶和高级驾驶员辅助系统（ADAS），这有助于智能车辆更好地定位自身并更安全地驾驶。

由于车道线具有高级特征（可以理解为一条车道线很长），同时具有低级特征（可以理解为一条车道线很细），也因为这原因导致了车道线检测仍然存在很大的挑战。因此，在本文中，从如何融合局部和全局特征来更准确地检测出车道线的位置信息作为思考点。

车道线检测中的另外一个常见问题是对于被遮挡的车道线应该如何检测。 对于SCNN和RESA提出了消息传递机制收集全局上下文，但是这些方法都是像素级预测，并且不作为一个整体。

针对上面的问题，本文提出了一个新的框架，跨层细分网络（CLRNet）。

• 第一点，它充分利用低层和高层特征进行车道线进行车道线检测（具体来说就是首先在高级语义特征中进行检测，以粗略定位车道线的位置。然后，我们基于细节特征对车道线的位置进行精确检测）。
• 第二点为了解决车道线被遮挡的问题，通过建立ROI车道特征与整个特征图之间的关系，引入ROIGather来获取更多的全局上下文信息。
• 第三点，我们定义了车道线的IoU，并提出了线IoU（LIoU），以将车道线作为一个整体进行回归，与标准损耗（即平滑L1损耗）相比，大大提高了性能。

下图中的（a）、（b）、（c）对应上面的三个点（这图画的真的好，简单明了）

3.方法

3.1 车道线先验

将车道线看成等间距的2d点p={(x1，y1),…,(xn,yn)}，点的y坐标通过图像垂直均匀采样，公式为yi=H/(N-1)*i(这里的N=72，H=图像的高度，i是第i个y坐标)，这些点作为车道线的先验。文章中的车道线检测是由网络预测得到，预测包括以下四部分信息：
一) 是否为车道线的类别信息
二) 车道线的长度
三) 车道线的起始点坐标(x,y)和车道线prior与x的夹角
四) 与划分点数量N=72相对应的位置偏移量

3.2 跨层细化

考虑到在神经网络中，深度高级特征具有更多的全局信息，浅层的低级特征则具有更多的细节信息。如何将全局信息和局部信息融合起来，以更好区分车道线和其他线条型地标和更精确检测出车道线的位置。
参考在目标检测中，它构建特征金字塔利用金字塔形状ConvNet 的特征层次结构并分配不同的尺度对象到不同的金字塔级别。

3.3 ROIGather

ROIGather模块是轻量级的且易于实现。它以特征图和车道先验作为输入，每个车道先验有N个点。

对于每个车道先验，按照ROIAlign得到车道先验的ROI特征。与边界框的 ROIAlign 不同，从车道先验中统一采样 Np 个点，并使用双线性插值来计算这些位置处输入特征的精确值。(理解: 也就是把车道先验映射到Feature map中)。