【2022-CVPR】Rethinking Efficient Lane Detection via Curve Modeling

概述

总结分析了当前（图像）车道线检测的三类方法，为了解决现有多项式曲线方法的优化困难，提出了使用参数(三阶)贝塞尔曲线拟合车道线的方案。此外还提出了基于变形卷积的特征翻转融合，以利用驾驶场景中车道的对称特性。

• Paper
• Code | Pytorch

总结

• 创新点：

  • 提出用参数贝塞尔曲线模型进行端到端检测RGB图车道线的方法
  • 提出基于变形卷积的特征翻转融合来利用前视镜头视角车道的对称性

• 不足：特征翻转融合是专为前置相机设计的，很难集成到边缘设备上

• 分析：

  • 1.针对前置摄像头拍的RGB图算法能否应用到俯视单通道强度图上？
  • 2.能否将原来的(实线虚线)目标检测转化为关键点检测？可能后续精度要好些（关键点检测和目标检测和语义分割的关系）
  • 3.啥是可变形卷积？

• 结论：a new SOTA；低延时，小模型，端到端，anchor-free，NMS-free

---

1.Introduction

之前算法有基于点云的，成本高，随着深度学习的发展，许多研究基于商业前视相机拍摄的图像了。目前(图像上)车道线检测主要有三种处理方案：（#1#2）

• Segmentation-based Method：将车道线标注为图像分割，通过图像分割的方式进行车道线检测。例如SCNN，延迟高无法实时，通常只有四条线，需要后处理，受局部影响在遮挡或极端光照条件下表现差。
• Keypoint-based Method：类似于目标检测，将车道线看成由若干关键点组成的线，然后进行关键点检测。例如Line-CNN、LaneATT，需要设计启发式的车道锚（依赖于数据集统计信息），需要NMS后处理。
• Curve-based Method：首先预定义曲线模型，通过对曲线模型的学习来获取图像中车道线表示。例如PolyLaneNet，线的整体表示消除了遮挡影响，不需要后处理且可预测数量变化的线，但多项式系数难优化。

基于语义分割或关键点检测的方法，通常需要启发式的方法来解码预测或制定大量的锚点，且是间接表示而非整体；而基于曲线模型的方法可以自然的学习整体的车道线表示，但收敛慢高延迟，多项式系数难优化，导致相比于前两类方法有较大差距。贝塞尔曲线有足够的自由度、计算复杂度低、稳定性高(少量控制点便可实现曲线描述)。车辆前视视角中车道线往往对称分布(对特征图进行水平翻转加可变形卷积实现特征融合)。贝塞尔曲线

2.方法设计

2.1 网络pipeline

使用ResNet-34的第3层特征作为backbone，其中使用两个具有膨胀速率的外部膨胀块来代替主干网络内部的膨胀，留下了具有更大感受野的16倍下采样特征图；然后加入特征翻转融合模块(#3.2)来聚合相对的车道特征，得到特征图(C×H/16×W/16)，然后平均池化至(C×W/16)，产生W/16个提议，2个(1×3)的一维卷积用于转换汇集的特征。最后通过分类分支和回归分支(每个分支只有一个1×1的卷积)获得最终的预测。四个控制点的回归分支输出为W/16×8，是否存在车道线分支输出为W/16×1。(#3.1)

2.2 特征翻转融合

考虑到单条线全局可进行曲线拟合，考虑到道路全局则可利用对称特性。训练时还加了辅助的二元分割分支判定是否是车道线的区域，在特征融合时有用，分割任务的定位提供了空间更精确的特征图。该部分用于增加特征图的感知能力，通过对称原理弥补左右图像区域车道线不明显而导致的检测问题

2.3贝塞尔曲线端到端拟合

贝塞尔曲线
论文中使用三阶贝塞尔曲线

曲线间距离
在之前的一些工作中通过L1损失函数的形式去监督贝塞尔曲线的控制点，如下图的（a）图所示，但是这样的结果是由控制点生成的曲线效果并不与实际曲线贴合效果直接关联。对此文章参考polynomial-based中的策略（图c），通过sample采样（文中取采样点为100）的方式去计算曲线的贴合程度。

真值生成
车道线数据集是由关键点标注的，贝塞尔曲线GT需要上述采样损失的控制点，所以使用最小二乘法计算生成GT，且并不限制生成的真值与原始标注有相同的端点，这导致标签质量更好。
标签和预测匹配：
文章中提到的曲线采样点匹配策略是通过枚举的形式得到的，其描述为：

其中，N,G代表的是采样的点集和GT点集，π(i)代表的是第i车道线。那么匹配的度量为公式(6)，${\hat{\mathrm{p}}}_{\pi (\mathrm{i})}$代表的是第i车道线的分类概率，且α = 0.8，${\mathrm{L}}_1\left({\mathrm{b}}_{\mathrm{i}},{\hat{\mathrm{b}}}_{\pi (\mathrm{i})}\right)$代表的是对应采样点的差异，可参考上图b中的关联虚线。
损失函数
首先，对于贝塞尔曲线的整体约束是使用L1的形式；对于车道线的分类使用的是加权的二值交叉熵的形式，此外还添加车道线二值分割损失，则整体的损失函数描述为：其中，λ1 = 1 , λ2 = 0.1 , λ3 = 0.75

4.1消融实验

上述各分量对整体性能的影响

4.实验结果