2022-车道线检测综述

未经许可，请勿转载！
课程论文，快速水一下👋

---

车道线检测综述

摘要

车道线检测是一种环境感知应用，其目的是通过车载相机或激光雷达来检测车道线。近年来，随着计算机视觉的应用发展和落地，车道线检测任务也获得了广泛关注，出现一系列的车道线检测方法。本文对基于车载相机获取二维图像的车道检测方法进行综述。首先，介绍车道线检测的任务简介，其次介绍车道线检测数据集，然后介绍传统的车道检测方法和深度学习方法，随后对深度学习方法进行展开介绍。基于深度学习的车道线检测方法分为四类：基于分割的方法、基于检测的方法、基于参数曲线的方法、基于关键点的方法。

关键词：车道线检测；实例分割；深度学习

一、任务简介

1.1 任务背景

自动驾驶引起了学术界和产业界研究人员的高度关注，为了保证汽车在行驶过程中的安全性，自动驾驶系统需要保持汽车在道路上沿车道线移动，这要求对车道线有准确的感知。车道检测在自动驾驶系统中扮演着重要的角色，特别是在高级辅助驾驶系统(ADAS)中。给定由车载相机拍摄的二维前视角图像，车道检测的目的是获取道路上每条车道线的准确形状；也就是说不仅要求获取车道线的走向和形状，还需要对每条车道线实例进行区别，车道线检测任务可以类比为一种实例分割任务。

1.2 任务难点

由于车道线的形状细长，并且真实场景下面临车道线变化复杂、遮挡问题、光照影响和语义模糊等问题，需要进行实例级的识别时面对着困难挑战。
车道线检测算法应用于车载系统，需要处理实时数据，对算法实时性提出了非常高的要求，如何在降低硬件要求的基础上提高算法性能，是车道线检测任务面对的又一挑战。
因此合理制定车道检测方法至关重要。

二、数据集

车道线检测数据集的构建需要各场景类别的数据平衡，比如高速公路，辅路，盘山路，夜晚，雨天等数据，以模拟真实行车环境。
开源车道线数据集有：

• TuSimple：一共72k张图片，位于高速路，天气晴朗，车道线清晰，特点是车道线以点来标注；图片大小：1280x720；
• CULane：一共98k张图片，包含拥挤，黑夜，无线，暗影等八种难以检测的情况，最多标记4条车道线；图片大小：1640x590；
• Caltech：一共约1.2k张图片，场景比较简单，且视角较好；图片大小：640x480；
• VPGNet：一共20k张图片，包含白天（非雨天、雨天、大雨天）、夜晚的数据，同时包含了各种车道线类型，以及其他不同类型的车道标识（左转箭头、直行箭头、斑马线等等）；
• BDD100k：120M张图片， 包含美国4个区的白天、黑夜各种天气状况，二维8类别车道线；图片大小：1280x720；
• ApolloScape：140k张图片，特点是车道线以掩码的形式标注，包含2维或3维28个类别；图片大小：3384x2710；
• CurveLanes：华为弯道检测数据集 135k张图片, 采用三次样条曲线手动标注所有车道线,包括很多较为复杂的场景,如S路、Y车道,还有夜间和多车道的场景。分为训练集10万张，验证集2万张，测试集3万张；图片大小：2650x144；

其中TuSimple和CULane是车道线检测文章最常使用的数据集。其中TuSimple挑战性低，场景多为高速公路。与之相比CULane场景复杂，很多位于北京城区，难度较高。

图2.1CULane数据集

三、方法

3.1 传统图像方法

传统图像方法通过边缘检测滤波等方式分割出车道线区域，然后结合霍夫变换、RANSAC等算法进行车道线检测。这类算法需要人工手动去调滤波算子，根据算法所针对的街道场景特点手动调节参数曲线，工作量大且鲁棒性较差，当行车环境出现明显变化时，车道线的检测效果不佳。主流方式如下：

• 基于霍夫变换的车道线检测；
• 基于LSD直线的车道线检测
• 基于俯视图变换的车道线检测；
• 基于拟合的车道线检测；
• 基于平行透视灭点的车道线检测；

缺点：应用场景受限；霍夫直线检测方法准确但不能做弯道检测，拟合方法可以检测弯道但不稳定，仿射变换可以做多车道检测但在遮挡等情况下干扰严重。透视变换操作会对相机有一些具体的要求，在变换前需要调正图像，而且摄像机的安装和道路本身的倾斜都会影响变换效果[1]。其次，这些方法都无法满足实时性要求。

3.2 深度学习方法

深度学习方法由于其鲁棒性和实时性迅速获得了关注，大致分为四类：基于分割的方法、基于检测的方法、基于参数曲线的方法、基于关键点的方法。下面对四类方法进行简介。

3.2.1基于分割的方法

基于分割的方法将车道线检测建模为逐像素分类问题，每个像素分为车道线区域或背景。这类模型通常是在语义分割模型的基础上，增加一个车道线实例判别头，来对车道线是否存在进行监督学习。经典工作有：SCNN[2]、RESA[3]、LaneNet[4]等。

• SCNN：为了区分不同的车道线，SCNN[引用]将不同的车道线作为不同的类别，从而将车道检测转化为多类分割任务。提出一个切片CNN结构，以使消息跨行和列传递。
• RESA：对SCNN切片CNN结构进行改进，加入切片间的不同步幅大小的信息传递，同时解耦相邻层之间的时序上的依赖，增加并行处理能力。
  
  图3.1 SCNN多类分割任务
  
  图3.2 SCNN中切片CNN结构
  
  图3.3 RESA结构示意图

总结：分割模型大，处理速度慢。在严重遮挡情况下表现差，没有充分利用车道线的先验知识。

3.2.2基于检测的方法

基于检测的方法通常采用自顶向下的方法来预测车道线，这类方法利用车道线在驾驶视角自近处向远处延伸的先验知识，构建车道线实例。

基于Anchor的方法设计线型Anchor，并对采样点与预定义Anchor的偏移量进行回归。应用非极大值抑制（NMS）选择置信度最高的车道线。相关工作有：LineCNN[5]、LaneATT[6]等。

• LineCNN: 使用从图像边界以特定方向发出的直线射线作为一组Anchor；
• LaneATT: 提出了一种基于线性型Anchor的池化方法结合注意力机制来获取更多的全局信息。
  
  图3.4 LineCNN模型结构图
  
  图3.5 LaneATT模型示意图

基于实例检测的方法，将图像水平条带等距切分，检测水平条带中每条车道线的位置。相关工作有：CondLaneNet[7]、UFAST[8]等。

• CondLaneNet：是一种自上而下的车道线检测框架，它首先检测车道实例，然后动态预测每个实例的线形。
• UFAST：将车道检测过程看作一个基于全局特征的行选择问题，能够有效的降低计算量，提高计算速度，轻量版能够达到300+FPS。

图3.6 CondLaneNet模型示意图

图3.7 UFAST行选择问题示意图

总结：自顶向下的设计能够更好的利用车道线的先验知识，提高检测实时性，同时在处理严重遮挡等情况下能够获得连续的车道线检测实例。但预设Anchor形状会影响检测的灵活性。

3.2.3基于关键点的方法

基于关键点的方法直接对车道线的实例进行检测，使用后处理对实例进行划分。相关的工作有：FOLOLane[9]、GANet[10]等

• FOLOLane：对局部模式进行建模，并以自下而上的方式实现对全局结构的预测。
• GANet：将每个关键点直接回归到车道线的起点进行实例的划分，而不是逐点延伸。
  
  图3.8 GANet 模型示意图
  
  图3.9 FOLOLane 推理框架

总结：此类方法兼具灵活性和实时性，在处理遮挡问题时如何构建全局信息是需要考虑的问题。

3.2.4基于参数曲线的方法

基于参数曲线的方法使用预先设定的参数曲线，对车道线形状进行检测，相关工作有：PolyLaneNet[11]、B´ezierLaneNet[12]等。

• PolyLaneNet：通过多项式曲线回归，输出表示图像中每个车道线的多项式。并维持高效性(115FPS)。
• B´ezierLaneNet：解决现有多项式曲线方法的优化难点，使用B´ezier曲线拟合车道线。
  
  图3.8 PolyLaneNet 模型示意图
  
  图3.9 B´ezierLaneNet 模型示意图

总结：基于曲线的方法可以自然地学习整体车道表示，具有较高的推理速度，但在准确度上不高。

四、结论

自动驾驶系统的部署终端对车道线检测算法提出了准确性和实时性的基本要求，基于深度学习的车道线检测算法的发展，使得车道线检测算法的应用落地获得了切实可行了解决方案。从基于传统实例分割的基于分割的方法，到结合先验知识进行自顶向下建模的基于检测的方法，使得车道线检测算法的精度和速度不断提高。如何更好的利用车道线形状的先验知识是值得继续探索的方向。

五、参考文献

[1] https://blog.csdn.net/Yong_Qi2015/article/details/113904150
[2] Pan, Xingang, Jianping Shi, Ping Luo, Xiaogang Wang, and Xiaoou Tang. “Spatial as Deep: Spatial CNN for Traffic Scene Understanding.” Proceedings of the AAAI Conference on Artificial Intelligence 32, no. 1 (April 27, 2018). https://ojs.aaai.org/index.php/AAAI/article/view/12301.
[3] Zheng, Tu, Hao Fang, Yi Zhang, Wenjian Tang, Zheng Yang, Haifeng Liu, and Deng Cai. “RESA: Recurrent Feature-Shift Aggregator for Lane Detection.” ArXiv:2008.13719 [Cs], March 25, 2021. http://arxiv.org/abs/2008.13719.
[4] Neven, Davy, Bert De Brabandere, Stamatios Georgoulis, Marc Proesmans, and Luc Van Gool. “Towards End-to-End Lane Detection: An Instance Segmentation Approach.” In 2018 IEEE Intelligent Vehicles Symposium (IV), 286–91, 2018. https://doi.org/10.1109/IVS.2018.8500547.
[5] Li, Xiang, Jun Li, Xiaolin Hu, and Jian Yang. “Line-CNN: End-to-End Traffic Line Detection With Line Proposal Unit.” IEEE Transactions on Intelligent Transportation Systems 21, no. 1 (January 2020): 248–58. https://doi.org/10.1109/TITS.2019.2890870.
[6] Tabelini, Lucas, Rodrigo Berriel, Thiago M. Paixão, Claudine Badue, Alberto F. De Souza, and Thiago Oliveira-Santos. “Keep Your Eyes on the Lane: Real-Time Attention-Guided Lane Detection.” ArXiv:2010.12035 [Cs], November 17, 2020. http://arxiv.org/abs/2010.12035.
[7] Liu, Lizhe, Xiaohao Chen, Siyu Zhu, and Ping Tan. “CondLaneNet: A Top-to-down Lane Detection Framework Based on Conditional Convolution.” ArXiv:2105.05003 [Cs], June 10, 2021. http://arxiv.org/abs/2105.05003.
[8] Qin, Zequn, Huanyu Wang, and Xi Li. “Ultra Fast Structure-Aware Deep Lane Detection.” ArXiv:2004.11757 [Cs], August 4, 2020. http://arxiv.org/abs/2004.11757.
[9] Qu, Zhan, Huan Jin, Yang Zhou, Zhen Yang, and Wei Zhang. “Focus on Local: Detecting Lane Marker from Bottom Up via Key Point.” arXiv, May 28, 2021. https://doi.org/10.48550/arXiv.2105.13680.
[10] Wang, Jinsheng, Yinchao Ma, Shaofei Huang, Tianrui Hui, Fei Wang, Chen Qian, and Tianzhu Zhang. “A Keypoint-Based Global Association Network for Lane Detection.” ArXiv:2204.07335 [Cs], April 15, 2022. http://arxiv.org/abs/2204.07335.
[11] Tabelini, Lucas, Rodrigo Berriel, Thiago M. Paixão, Claudine Badue, Alberto F. De Souza, and Thiago Oliveira-Santos. “PolyLaneNet: Lane Estimation via Deep Polynomial Regression.” ArXiv:2004.10924 [Cs], July 14, 2020. http://arxiv.org/abs/2004.10924.
[12] Feng, Zhengyang, Shaohua Guo, Xin Tan, Ke Xu, Min Wang, and Lizhuang Ma. “Rethinking Efficient Lane Detection via Curve Modeling.” ArXiv:2203.02431 [Cs], March 4, 2022. http://arxiv.org/abs/2203.02431.