Heatmap-based Vanishing Point boosts Lane Detection 论文翻译

基于热力图消失点增强车道线检测

论文：Heatmap-based Vanishing Point boosts Lane Detection

摘要

基于视觉的车道线检测(LD)是自动驾驶技术的关键部分，也是一个具有挑战性的问题。消失点作为场景构成的重要约束条件之一，可以为车道线检测提供有用的线索。本文提出了一种新的高精度车道线检测多任务融合网络体系结构。首先，以ERFNet为骨干，提取道路图像的层次特征；然后，利用图像分割方法检测车道线。最后，结合车道线检测的输出和主干网提取的层次特征，利用热图回归对车道消失点进行预测。利用公共CULane数据集对所提出的融合策略进行了测试。实验结果表明，该方法的车道检测精度优于最新的SOTA方法。
**关键词：**车道线检测；消失点检测；ERFNet；热图回归

一、 介绍

近年来，自动驾驶技术[1]已成为人工智能领域最热门的投资方向之一。车道检测作为自动驾驶系统的重要组成部分，受到了越来越多的研究者的关注。目前，在简单的情况下，车道检测算法的性能是可以接受的。然而，在光线暗淡、阴影等恶劣环境[3]下，车道检测算法的性能明显下降。

现有的车道检测算法可分为两类:基于深度学习的车道线检测算法和传统的车道线检测算法。
传统的算法首先提取手工特征，然后对手工特征进行后处理，最后得到车道估计结果。常用的手工特征包括颜色特征[4]、线段检测(LSD)特征[5]、霍夫变换特征[6]等。传统车道线检测算法有两个缺点：1）手工提取特征是场景的浅层特征，其表现能力有限，易受场景噪声的影响；2）后处理方法的特征集成能力也受到限制。因此，非深度学习的车道线检测方法的性能并不理想。
近年来，深度学习技术在图像分析领域取得了一系列重大突破。因此，研究者试图利用DL技术来解决复杂场景下的挑战性问题。例如，Neven等人[7]提出了一种语义实例分割方法，实现了端到端的车道检测。Pan[8]等人利用SCNN网络优化提取图像中的空间信息。Hou等人介绍了将自注意力机制蒸馏（self-attention distillation (SAD)[9]和Inter-Region 知识蒸馏(IntRA-KD)[10]引入车道线检测，在降低参数的同时提高了检测性能。Philion[11]和Liu等人[12]将风格传输网络引入车道线检测中，解决了长尾低光条件的问题。Yoo等人将车道线标记器检测问题转化为逐行分类任务，以端到端方式进行预测。

作为场景构成的重要约束条件之一，消失点(VP)也可以为车道线检测[14]提供重要线索。对于直车道线，消失点为远处各车道线的交点[15]。对于弯的道路[16]，消失点为车道线切线的交点。在一些非深度学习算法中，研究人员试图使用消失点作为约束来辅助车道线检测。然而，由于消失点检测精度较低，这些算法尚未得到广泛应用。在基于DL的算法中，Lee等人[17]将二值图的输出与四象限分布图相结合，确定场景消失点，同时预测车道线。虽然该算法提高了车道检测的准确性，但由于缺乏通用性和标注困难，很难与经典的基于cnn的目标检测体系结构相结合。

本文提出了一种新的基于热图回归的消失点辅助车道检测方法。热图回归[18]可以对图像中的关键点进行像素级估计，在二维人体姿态估计的应用中取得了很好的效果。我们还发现，热图回归可以用于检测消失点在道路场景图像。为了更好地将消失点检测与车道检测相结合，提出了一种新的多任务融合网络体系结构。在实验分析中，我们系统地研究了该融合策略在公共数据集上的有效性。

主要贡献如下：

• 提出了一种基于热图回归的车道线消失点检测算法，可以获得高精度的消失点检测结果。
• 提出了一种新的多任务融合网络体系结构，将消失点检测任务和车道检测任务很好地结合在一起，显著提高了车道线检测精度。

本文的其余部分组织如下。我们首先介绍我们提出的车道线检测算法，包括基于热图的车道线消失点检测和多任务融合架构在第二节。在第三节中，我们评估了所提算法的性能，然后是第四节的结论。

二、METHODOLOGY

道路消失点为车道线检测提供了重要线索，但如何将消失点信息有效地引入到基于cnn的车道检测算法中存在两个难点：1）如何高精度预测道路消失点；2）如何有效地将消失点检测和l车道线检测相结合。针对上述问题，提出了一种新的多任务融合网络体系结构。首先，以ERFNet[19]为骨干网络，提取道路图像的层次特征；然后，利用图像分割方法检测车道线。最后，结合车道线检测的输出和主干网提取的层次特征，利用热图回归对车道线消失点进行预测。该融合策略既能实现高精度消失点估计，又能解决多任务损失函数不平衡的问题。该网络的总体架构如下图所示。

2.1 基于热图回归的消失点检测

以往的研究结果表明，热图回归是一种很好的关键点检测技术，可以对图像中的关键点进行像素级估计。目前，该技术已在二维人体姿态估计应用中取得了良好的检测效果。在本研究中，我们发现车道线消失点可以被视为一个特殊的关键点。因此，基于cnn的热图回归可以应用于对车道线消失点的端到端预测。

2.2 组合结构

车道检测任务与消失点检测任务集成的方法有：

1. A）LD-VP结构，即将车道线检测结果与ERFNet的层次特征相结合作为消失点检测的输入;
2. B）VP-mid- ld结构，即消失点检测结果结合ERFNet的层次特征作为中间层的输入，中间层的输出作为车道线检测的输入;
3. C）平行结构，即消失点检测和车道线检测是独立的;
4. D）LD-mid-VP结构，即车道线检测结果结合ERFNet的层次特征作为中间层的输入，中间层的输出作为消失点检测的输入。

上面提到的中间层是ERFNet中的一个非瓶颈块。经过大量的测试，我们发现LD-mid-VP结构相比于其他三种结构可以获得最好的车道检测结果。下图显示了四种可能的结构。

2.3 损失函数

为了训练我们的完整网络，我们最小化下面的损失函数。

消失点热图损失我们使用均方误差损失函数，车道线检测使用交叉熵损失函数。

三、 实验

3.1 数据集构建

为了比较不同车道线检测算法的性能，我们选择了广泛使用的CULane[8]数据集。这个数据集包含123K图像来自许多不同的具有挑战性的驾驶场景，如强光、拥挤、夜晚、阴影等等。然而，CULane数据集不包含标记的消失点信息。因此，我们手动标注了CULane数据集的消失点。

3.2 评价指标

我们使用[8]中提出的方法来定量评价各种算法的车道检测性能。我们将每个车道标记视为一条宽度为30像素的线，并计算标签与预测之间的交联(IoU)。那些欠条大于阈值的预测被认为是真阳性(TP)。这里，阈值被设置为0.5。然后，我们使用F1 measure作为评价指标，其定义为:

3.3 详细实现

我们在Python中使用Pytorch 1.3和CUDA 10实现了我们的方法，并在带有NVIDIA RTX 2080 Ti的i7-8700K@3.7GHz上运行它。我们使用CULane的训练数据集作为训练数据集，包含88880张图像，使用CULane的测试数据集作为测试数据集，包含34680张图像。所有输入图像被重塑为976×351进行训练。我们将具有相同标准差(默认情况下std = 7)的高斯核应用于所有这些真实热图。我们使用随机梯度下降(SGD)进行优化，并从0.001的网络学习率开始。我们将学习率每5个epoch除以10，动量为0.9。我们还采用了随机翻转和图像旋转的数据增强。

3.4 对比实验

表1给出了所提算法在CULane测试集上的测试结果。结果表明，本文提出的算法在大多分组中都优于SOTA，尤其是在正常、夜晚和强光组中。整体F1 measurement精度由73.1提高到74.2。不难看出，利用车道线消失点信息可以提高在强光和夜间条件下的检测精度，多任务学习可以大大提高网络的整体检测性能。

图2说明了我们的方法与ERFNet在夜晚、阴影、拥挤和弯道中的不同性能。车道线消失点的位置用热图标出。可以看出，我们的方法生成的概率图比ERFNet的更准确。

3.5 消融研究

主干网选择、车道线消失点检测子网络和多任务融合架构是影响最终车道检测结果的三个关键因素。因此，我们通过消融研究来定量分析影响车道检测性能的关键因素。

1. 主干网络：我们系统地测试了ResNet18 (Res18)、ResNet34 (Res34)和ERFNet不同的主干对模型准确率和检测速度的影响。如表1所示，消失点辅助的车道检测在选择任何一种主干网时，其准确性都优于非消失点辅助的预测。更具体地说，对于使用Res18、Res34和ERFNet作为骨干的基于消失点的网络，F1-measure的结果分别比非消失点的对手增加了4.0%、3.1%和1.1%。同时我们也注意到，增加消失点检测部分对车道检测模型运行时间影响不大(大约增加1ms计算)。
   
2. 车道线消失点检测:为了定量评价我们的算法的车道线消失点检测性能，我们使用[21]中提出的归一化欧几里得距离来度量检测到的车道VP与人工标记的地面真值之间的估计误差。标准欧几里得距离定义为：
   
   图3显示了CULane数据集上使用不同骨干网络的结果。对于以ERFNet、ResNet18和ResNet34为骨干的模型，小检测误差(NormDist <0.01)所占比例分别为4.93%、4.41%和5.79%，大检测误差(NormDist >0.05)所占比例分别为2.07%、2.02%和2.05%。NormDist的平均误差分别为0.024859、0.024984、0.024049。这些结果表明，骨干网络的选择对检测模型的性能影响不大。
   
3. 组合结构：如第2.2节所述，有四种可供选择的结构。我们定量评估了不同结构的选择对车道线检测性能的影响。结果见表二。LD- VP、VP-mid- LD、Parallel和LD-mid- VP的F1-measure结果分别为73.6、74.1、73.7和74.2。结构(B)在拥挤、夜晚、 阴影、交叉路口四类中结果优于结构(D)，但总体结果不如结构(D)，因此我们选择结构(D)作为多任务融合网络。
   

四、 结论

消失点是车道检测的重要线索。本文提出了一种新的多任务融合网络体系结构，利用热图回归提取消失点信息用于车道线检测。我们从四种可能的结构中选择了性能更好的LD-mid-VP结构作为融合结构。实验结果表明，该方法在阴影、夜晚和曲线等工作条件下具有较高的精度和鲁棒性。将这一想法扩展到其他需要消失点协助的任务，比如图像检索和姿态估计，会很有趣。