最新综述！万字长文彻底搞懂单目3D车道线检测

3D车道检测在自动驾驶中起着至关重要的作用，通过从三维空间中提取道路的结构和交通信息，协助自动驾驶汽车进行合理、安全和舒适的路径规划和运动控制。考虑到传感器成本和视觉数据在颜色信息方面的优势，在实际应用中，基于单目视觉的3D车道检测是自动驾驶领域的重要研究方向之一，引起了工业界和学术界越来越多的关注。不幸的是，最近在视觉感知方面的进展似乎不足以开发出完全可靠的3D车道检测算法，这也妨碍了基于视觉传感器的完全自动驾驶汽车的发展，即实现L5级自动驾驶，像人类控制的汽车一样驾驶。

这是这篇综述论文得出的结论之一：在使用视觉传感器的自动驾驶汽车的3D车道检测算法中仍有很大的改进空间，仍然需要显著的改进。在此基础上，本综述定义、分析和审查了3D车道检测研究领域的当前成就，目前绝大部分进展都严重依赖于计算复杂的深度学习模型。此外，本综述涵盖了3D车道检测流程，调查了最先进算法的性能，分析了前沿建模选择的时间复杂度，并突出了当前研究工作的主要成就和局限性。该调查还包括了可用的3D车道检测数据集的全面讨论以及研究人员面临但尚未解决的挑战。最后，概述了未来的研究方向，并欢迎研究人员和从业者进入这个激动人心的领域。

在人工智能的推动下，自动驾驶技术近年来取得了快速发展，逐渐重塑了人类交通运输的范式。配备了一系列传感器，自动驾驶车辆模仿人类的视觉和听觉等感知能力，以感知周围环境并解释交通场景以确保安全导航。其中关键的传感器包括激光雷达、高分辨率相机、毫米波雷达和超声波雷达，它们促进了特征提取和目标分类，并结合高精度地图制图来识别障碍物和车辆交通景观。视觉传感器是自动驾驶车辆中最广泛使用的，它们作为环境感知的主要手段，包括车道检测、交通信号灯分析、路标检测和识别、车辆跟踪、行人检测和短期交通预测。在自动驾驶中处理和理解视觉场景，包括交通信号灯的分析、交通标志的识别、车道检测以及附近行人和车辆的检测，为转向、超车、变道或刹车等操作提供更稳健和更安全的指令。传感器数据和环境理解的整合无缝地过渡到自动驾驶中的场景理解领域，这对于推进车辆自主性和确保道路安全至关重要。

场景理解代表了自动驾驶领域中最具挑战性的方面之一。缺乏全面的场景理解能力，使得自动驾驶车辆在交通车道中安全导航就像对于人类来说眼睛被蒙住的情况下行走一样艰难。车道检测尤其在场景理解的领域中是一个至关重要且具有挑战性的任务。车道是道路上最常见的交通要素，是分割道路以确保车辆安全高效通过的关键标志。自动识别道路标线的车道检测技术是不可或缺的；缺乏此功能的自动驾驶车辆可能导致交通拥堵甚至严重碰撞，从而危及乘客安全。因此，车道检测在自动驾驶生态系统中起着至关重要的作用。与典型的物体不同，车道标线仅占道路场景的一小部分，并且分布广泛，这使得它们在检测方面具有独特的挑战性。此任务由于多种车道标线、光照不足、障碍物以及来自相似纹理的干扰而变得更加复杂，这些在许多驾驶场景中都很常见，因此加剧了车道检测所固有的挑战。

基于单目视觉的车道检测方法主要可以分为传统手动特征方法和基于深度学习的方法。早期的努力主要集中在提取低级手动特征，如边缘和颜色信息。然而，这些方法通常涉及复杂的特征提取和后处理设计，并且在动态变化的场景中表现出有限的鲁棒性。基于手动特征提取的传统车道检测算法首先通过识别车道线的颜色、纹理、边缘、方向和形状等特征，构建近似直线或高阶曲线的检测模型。然而，由于缺乏明显特征并且对动态环境的适应性差，基于手动特征的传统方法通常不够可靠且计算开销较大。

随着深度学习的迅速发展，在计算机视觉领域的图像分类、目标检测和语义分割方面取得了重大进展，为车道检测的研究带来了创新的视角。深度学习中根植于深度学习的深度神经网络（DNNs）在从图像数据中提取特征方面具有深刻的能力，其中卷积神经网络（CNNs）是应用最广泛的。CNNs代表了DNNs的一种特殊类别，其特点是多个卷积层和基础层，使其特别适用于处理结构化数据，如视觉图像，并为各种后续任务提供高效的特征提取。在车道检测的上下文中，这意味着利用深度CNNs实时提取高级特征，然后由模型处理以准确确定车道线的位置。

背景和相关工作

由于深度学习技术的进步，研究人员开发了许多策略，大大简化、加快和增强了车道检测的任务。与此同时，随着深度学习的普及和新概念的不断涌现，车道检测领域的方法也得到了进一步的专业化和完善。在这个领域的主流研究轨迹上反思，基于相机的车道检测方法可以主要分为二维（2D）和三维（3D）车道检测范式。

2D车道检测方法 旨在准确地描绘图像中的车道形状和位置，主要采用四种不同的方法：基于分割、基于anchor、基于关键点和基于曲线的策略。

• 基于分割的方法将2D车道检测看作像素级分类挑战，生成车道mask。
• 基于anchor的方法以其简单和高效而受到赞誉，通常利用线性anchor来回归相对于目标的位置偏移。
• 基于关键点的方法提供了对车道位置更灵活和稀疏的建模，首先估计点位置，然后使用不同的方案关联属于同一车道的关键点。
• 基于曲线的方法通过各种曲线方程和特定参数来拟合车道线，通过检测起始点和结束点以及曲线参数，将2D车道检测转化为曲线参数回归挑战。

尽管2D车道检测取得了一些进展，但在2D结果与实际应用要求之间仍存在显著差距，尤其是对于精确的三维定位。

3D车道检测。 由于2D车道检测中固有的深度信息缺乏，将这些检测投影到3D空间可能会导致不准确和降低鲁棒性。因此，许多研究人员已经将他们的关注点转向了3D领域内的车道检测。基于深度学习的3D车道检测方法主要分为基于CNN和基于Transformer的方法，最初构建稠密的鸟瞰特征图，然后从这些中间表示中提取3D车道信息。

基于CNN的方法主要包括D-LaneNet，它提出了一种双路径架构，利用逆透视映射（IPM）将特征转置，并通过垂直anchor回归检测车道。3D-LaneNet+将BEV特征分割为不重叠的单元，通过相对于单元中心的横向偏移、角度和高度变化来解决anchor方向的限制。GenLaneNet首创使用虚构的俯视坐标系来更好地对齐特征，并引入了一个两阶段框架来解耦车道分割和几何编码。BEVLaneDet通过虚拟相机来确保空间一致性，并通过基于关键点的3D车道表示适应更复杂的场景。GroupLane在BEV中引入了基于行的分类方法，适应任何方向的车道，并与实例组内的特征信息进行交互。

基于Transformer的方法包括CLGo，提出了一个两阶段框架，能够从图像中估计摄像机姿态，并基于BEV特征进行车道解码。PersFormer使用离线相机姿态构建稠密的BEV查询，将2D和3D车道检测统一到基于Transformer的框架下。STLanes3D使用融合的BEV特征预测3D车道，并引入了3DLane-IOU损失来耦合横向和高度误差。Anchor3DLane是一种基于CNN的方法，直接从图像特征中基于3D anchor回归3D车道，大大减少了计算开销。CurveFormer利用稀疏查询表示和Transformer内的交叉注意机制，有效地回归3D车道的多项式系数。LATR在CurveFormer的查询anchor建模基础上构建了车道感知查询生成器和动态3D地面位置嵌入。CurveFormer++提出了一种单阶段Transformer检测方法，不需要图像特征视图转换，并直接从透视图像特征推断3D车道检测结果。

挑战与动机

准确估计车道标线的三维位置需要具有鲁棒的深度感知能力，特别是在光照和天气条件多变的复杂城市环境中。此外，由于各种因素如不同的道路类型、标线和环境条件，现实世界中用于三维车道检测的数据表现出很高的变异性，使得在不同场景中训练具有良好泛化能力的模型变得艰难。处理用于车道检测的三维数据需要大量的计算资源；这在低延迟至关重要的实时应用中尤为关键。此外，车道标线可能会被各种环境因素如遮挡、阴影、雨雪等遮挡或破坏，给在恶劣条件下可靠检测带来挑战。此外，将三维车道检测集成到综合感知系统中，同时使用其他传感器如相机、激光雷达和雷达，并处理它们的联合输出，也面临着集成挑战。不幸的是，社区缺乏一个统一的、单一的参考点，以确定基于相机的三维车道检测技术在自动驾驶中的当前成熟水平。

考虑到上述挑战和基于视觉传感器的语义分割在准确场景理解和解析中的重要性，在本调查中积累了现有的研究成果和成果。本调查中突出显示的主要研究问题如下：

• 现有数据集在复杂视觉场景中具备进行3D车道检测的潜力吗？
• 当前方法的模型大小和推断速度如何，这些方法能够满足自动驾驶车辆的实时要求吗？
• 当前方法是否能够有效地在包含雾和雨等不确定性的复杂视觉场景中进行三维车道检测？

贡献

本调查向前迈出了一步，对近年来三维车道检测技术的最新状态进行了批判性审查，并为社区做出了以下主要贡献：

• 1）全面介绍了3D车道检测技术，定义了通用流程并逐步解释了每个步骤。这有助于该领域的新人们迅速掌握先前的知识和研究成果，特别是在自动驾驶的背景下。据我们所知，这是第一份关于基于相机的3D车道检测的调查。
• 2）讨论和批判性分析了近年来在三维车道检测领域受到重视的最相关的论文和数据集。
• 3）对当前最先进的方法进行性能研究，考虑它们的计算资源需求以及开发这些方法的平台。
• 4）基于分析的文献，推导出未来研究的指导方针，确定该领域的开放问题和挑战，以及可以有效探索的研究机会，以解决这些问题。

综述方法论

本调查中讨论的研究作品是使用不同的关键词检索而来的，例如自动驾驶中的3D车道检测、基于视觉的3D车道检测和基于学习的3D车道检测。大多数检索到的论文与研究主题直接相关，但也有一些例外，例如多模态方法和基于点云的方法，与本调查的主题关系较小。此外，上述关键词在多个库中进行了搜索，包括Web of Science和Google Scholar，以确保检索到相关内容。包含标准确保了一篇论文被自动驾驶专家所认可，基于诸如引用次数或先前工作的影响等因素。值得一提的是，在查阅文献时，并没有找到基于传统