《CLRNet：Cross Layer Refinement Network for Lane Detection》论文笔记

参考代码：CLRNet

1. 概述

介绍：车道线检测任务是一种高低层次信息都依赖的任务，在CNN网络的高层次特征具有较强的抽象表达能力，可以更加准确判别是否为车道线。而在CNN网络的低层次特征中包含丰富输入图像纹理信息，可以帮助车道线进行更精准定位。而在这篇文章中提出了一种级联优化（从高层次的特征到低层次的特征）的车道线检测算法，极大限度利用了高低维度的特征去优化车道线在高分辨率下的预测准确度。不同与之前的LaneeATT中直接特征index的方案，这篇文章中提出了基于双线性采样的线型RoI提取算子（ROIGather）。此外，文章构建整体维度的Lane IoU loss约束整体车道线的回归质量。

在车道线检测任务中会存在各式各样的问题，最为典型的就是下图中所示的4中情况：

• a）车道线本身存在奇异，导致训练回归的目标也存在不唯一性；
• b）车道线的偏移量回归不准确，导致在上采样的过程中存在偏移的问题；
• c, d）由于遮挡、极限光照条件、车道线磨损等情况导致车道较难检测；

对于上述的（a，c，d）可以通过高维度的语义信息进行解决，而b中的细节信息可以通过使用低维度的语义信息进行细致优化。而这篇文章正是很好使用高维和低维级联优化与优势互补实现车道线的高精度定位。

2. 方法设计

2.1 网络结构

文章提出的网络结构见下图所示：

参考上图可以看到文章中的方法使用一个FPN网络去提取图像特征，之后在每个特征stage上去优化车道线的回归结果，而当前stage的回归结果会被下一阶段的细致优化所采用，从而实现车道线的级联优化。

对于上述提到的级联优化策略，文章中给出了各式组合优化的比较：

说明从高层次特征开始往低层次特征进行优化带来的收益是最大的。

2.2 车道线建模

这里车道线的建模是采用的点集的形式 P = { ( x 1 , y 1 ) , … , ( x N , y N ) } P=\{(x_1,y_1),\dots,(x_N,y_N)\} P={ (x1​,y1​),…,(xN​,yN​)}，也就是可以描述为在Y轴上进行均匀采样的形式：$y_i=\frac{H}{N-1}\ast i$（这里的$N=72$），再加上车道线与X轴的夹角$\theta$（初始的时候可通过数据分析确定），文章对此将其称之为Lane Prior（可以理解为anchor box）。那么文章需要回归的量就包含了4个部分：

• 1）是否为车道线的类别信息；
• 2）车道线的长度；
• 3）车道线的起始点坐标$(x,y)$和车道线prior与X轴的夹角$\theta$；
• 4）与划分点数量$N=72$相对应的位置回归量；

2.3 ROIGather

在给定Lane Prior（会根据回归所在stage的不同，$\theta$会发生变化）下参考RoIAlign操作使用双线性差值的方式在prior上均匀采样得到$N_p=36$个采样点，这些采样点的集合就是$X_p\in R^{C\ast N_p}$。同时，对应stage的特征会经过维度变换得到