算法环境配置7_车道线检测Ultra-Fast-Lane-Detection

前言

算法名称：Ultra-Fast-Lane-Detection
论文地址：https://arxiv.org/abs/2004.11757
开源代码：https://gitcode.net/mirrors/cfzd/Ultra-Fast-Lane-Detection?utm_source=csdn_github_accelerator

一、 算法介绍

1.车道检测现状和难点

1.现状

对于车道线检测任务，目前主流的两种方法有：
• 传统图像处理的方法
• 深度分割的方法
  早期已有很多基于传统图像处理实现的车道线检测算法，但随着大家研究的深入，车道线检测任务所应对的场景越来越多样化，逐步已经脱离了对于“白、黄色线条”这种低阶理解。
  目前更多的方式是寻求对于语义上车道线存在位置的检测。深度分割方法自然比传统的图像处理方法具有更强的语义表示能力，所以现代车道线检测最主要的方法是将其视为像素级分割的问题。但深度分割处理车道线检测也具有一定的局限性。

2.局限性

速度慢
  因为分割是逐像素分类的，要对图像中每一个像素点进行分类。为了分割车道线要进行非常密集的计算，导致的结果就是速度比较慢。
局部感受野
  分割的另一个问题是感受野问题。因为分割一般是全卷积得到分割结果，而卷积基本上是比较局部的，所以每个像素的感受野有限。在其他分割问题中可能问题不大，但在车道线检测中，问题就很大了。

3.难点

为什么局部感受野的问题对于车道线检测任务中，影响较大呢？这也是目前车道线检测的一大难点。因为车道线检测目前的一大难点就是寻找语义上的线，而不是局限于表观存在的线。如下图所示：

图中车道线受光照影响和周围车辆的遮挡，已经完全识别不出车道线所在位置。而在这种严重遮挡和极端光照条件下，车道线识别主要是基于背景信息和全局信息。故对于上图这种语义线的检测，需要对全局有很好的感知才能实现良好的定位。也就是需要我们对车道线有更高级别的语义分析。

2.超快速车道线检测算法

1.算法结构

蓝线上是辅助分支，蓝线下是主要分支。特征提取器显示在蓝框中，分类预测显示在绿色框中，辅助分割任务显示在橙色框中。
  需要注意的是，为了获取全局的上下文信息，作者在网络训练过程中加入了一个语义分割的分支，从而实现全局和局部信息的聚合，在测试阶段删除。这样，即使我们增加了额外的分割任务，该算法的运行速度也不会受到影响。
  最终的total loss是：

2.算法定义

将车道线检测定义为寻找车道线在图中某些行位置的集合，即基于行方向上的位置选择、分类。如下图所示：

anchors我们称之为行锚，它是预定的行位置，在每个行锚上，位置被划分为许多单元格。车道线检测就被描述为在预定义的行锚上选择某些单元格。

3. 创新点

为了解决深度分割的两个问题，也为了简单建模车道线，提出了一个全新的车道线检测算法。该论文的创新点：
1.增加先验条件，增加几何约束
利用车道线先验，设计structural loss给网络输出增加几何约束，解决上面提到的问题
首先，我们要明确对于没有视觉线索的问题就是意味着在目标位置没有信息。如下图所示：

从图中我们可以看出，一条车道被一辆车挡住了，但该算法仍然可以通过其他车道、道路形状甚至汽车方向的信息确定该车道的位置。所以解决无视觉线索问题的关键就是利用其他地点的信息。
  本论文通过两个角度去解释该算法是如何解决“没有视觉线索”这个问题的。
• 感受野的角度
  由于该算法不是分割的全卷积形式，是一般的基于全连接层的分类，所以它使用的特征是全局特征。所以，该方法在检测某一行的车道线位置时，感受野就是全图大小。那么来自图像其他位置的上下文信息可以用来解决无视觉线索的问题。
• 学习的角度
  使用平滑性和刚性加入车道线的先验约束，除了分类损失外，进一步提出了两个损失函数。
  1. similarity loss
  是由车道是连续的这一事实推导出来的，也就是说相邻的行锚中的车道点应该彼此接近。在该公式中，车道的位置由分类向量表示。因此，通过约束分类向量在相邻行锚上的分布来实现连续性。将相邻行上分类的L1范数定义为平滑性，希望车道线位置在相邻行上是相近且平滑变化的。

2. shape loss
  该损失函数侧重于车道的形状。一般来说，大多数车道都是直的，即是是弯道，由于透视效果，它的大部分仍是直的。在这项工作中，该算法使用二阶差分方程来约束车道的形状，由于车道线大多数是直线，因此二阶差分为0，所以约束其二阶差分与0的差异可以在优化过程中使得预测出的车道线更直。

最终的structural loss是为：

由于分割方法得到的是车道线的二值分割图，其结构是逐像素建模，因此几乎无法实现对上述高层语义（平滑、刚性）层级的约束，这也是该算法的另一个优点。
2.推理速度快
在CULane和TuSimple上均取得不错结果，检测速度达300fps以上（使用的GPU是1080Ti）
首先，我们知道如果想要检测一条车道线的图像大小是H * W，对于分割问题，需要处理H * W个分类问题。但是该方案是行向选择，只需要处理h个行上的分类问题，只不过每行上的分类问题是W维的。这样就把原来H * W个分类问题简化为了只需要h个分类问题，而且由于在哪些行上进行定位是可以人为设定的，因此h的大小可以按需设置，但一般h是远小于图像高度H的。
下图，展示了该方法与基于分割的车道线检测方法的比较。

图中，我们可以看出，分割算法需要进行（C+1）维的H * W个分类，该算法只需要解决（w+1）维的C * h分类问题。因此，
• 分割算法的计算代价
H * W * (C+1)
• 该算法的计算代价
C * h *（ω+1）
  一般情况下，预定义的行锚数量和网格大小都远远小于图像的大小，因此该方法将计算复杂度缩减到了一个极小的范围内，解决了分割速度慢的问题，极大地提速了车道线检测算法的速度。该方法能够达到300+fps。

4.缺点

• structural loss多用来约束纵向的车道线几何，算法对其他方向车道线的检测能力存疑
• 能检测的车道线数目有上限，需要人工设置（即上文提到的参数C）

二、 环境搭建

1 测试硬件环境

• GPU:3080 Ti
• Ubuntu:20.04
• CUDA：11.3

2 创建虚拟环境

conda create -n lane-det python=3.7 -y
conda activate lane-det

3. 安装pytorch

算法README.md文件的安装torch命令，安装后会出现导入torch ,读取不到显卡的问题，经测试，使用下面命令安装没问题
Python

pip install torch==1.7.0+cu110 torchvision==0.8.1+cu110 torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html

4.检查是否安装OK

import torch
print(torch.cuda.is_available())#打印cuda是否可用
print(torch.cuda.device_count())#打印可用的GPU数量
print(torch.version.cuda)#查看虚拟环境cuda版本

5. 安装其他依赖库

pip intsall -r requirement.txt

三、 数据准备

源下载地址：https://github.com/TuSimple/tusimple-benchmark/issues/3
百度云链接：https://pan.baidu.com/s/1Vkct28kCHWhfgqdu4mqZMg 提取码：4srj

1.配置文件修改

在configs下找到对应数据集配置文件并根据自己需要修改参数
tusimple.py 中

culane.py中

2.数据目录结构

将Tusimple下载的test_set.zip和trai
_set.zip 解压后，合并到一起,改名为Tusimple.得到下面的数据结构。

$TUSIMPLEROOT
    |──clips
    |──label_data_0313.json
    |──label_data_0531.json
    |──label_data_0601.json
    |──test_tasks_0627.json
    |──test_label.json
    |──readme.md

$CULANEROOT
    |──driver_100_30frame
    |──driver_161_90frame
    |──driver_182_30frame
    |──driver_193_90frame
    |──driver_23_30frame
    |──driver_37_30frame
    |──laneseg_label_w16
    |──list

3.文件转换

Tusimple 数据集，还需要使用下面命令经过转换,生成两个txt文件

python scripts/convert_tusimple.py --root ./data/Tusimple

四、训练

1.使用TuSimple数据集

python train.py configs/tusimple.py

**注意：**默认会自动去https://download.pytorch.org/models/resnet18-5c106cde.pth下载resnet18的预训练模型，储存到你的/home/XXXXXXX/.cache/torch/hub/checkpoints/resnet18-5c106cde.pth.

2.使用CuLane数据集

Python

python train.py configs/culane.py

五、 测试

1.评估指标

python test.py configs/tusimple.py --test_model weights/tusimple_18.pth 

2.测试效果

会生成一个test.avi的视频，查看效果

python demo.py configs/tusimple.py --test_model weights/tusimple_18.pth