VPGNet

在本文中，我们提出了一个统一的端到端可训练的多任务网络，联合处理在恶劣天气条件下以消失点引导的车道和道路标记检测和识别。我们解决了雨天和低光照条件，由于明显的挑战，到现在还没有得到广泛的研究。

为此，本文针对次问题，首先提出了一个总共包含20000张影像的数据集，其中包括17类道路和路面标志，并且考虑到了四种不同的天气（晴天，雨天，暴雨，夜晚）。在本数据集上，本文训练和测试了几种已经提出的多任务网络，并评价了每个任务的重要程度。最终，本文提出了VPGNet，能够同时检测识别道路和路面标志，并且通过前向传导的方式预测灭点。

contributions:

建立了在不同天气和光照条件下采集的车道和道路标记检测和识别基准数据集。该数据集由大约2万张图像组成，包括17个手动标注的车道和道路标记类别。同时，还提供了消失点注释。

提出统一的端到端可训练多任务网络，共同处理在恶劣天气条件下由消失点引导的车道和道路标记检测和识别。

文章指出：对细长的车道线标注进行训练时候，会因为卷积操作和池化操作使特征消失，更近一步的，很多的神经网络的输入都会resize，一般都是减小分辨率，这样会让细长的特征标注几乎不可见，所以本文提出：将pixel-level annotation projecting grid-level （8 x 8）mask上面，图像被分成8 x 8 的 cell，则cell的lable 就是位于cell 里面的pixel annotation(label).网络的输入是 640 x 480，输出是80 x 60，输入和输出的比例因子是1/8,（8次下采样），Figure 2 是 pixel-level annotation projecting grid-level 的效果。

4. Neural Network

4.1. Architecture

我们的网络的竞争优势是，它是专门用来检测和识别车道和道路标记，以及定位消失点。

该网络有四个任务模块，每个任务都执行互补的协作：网格盒回归、目标检测、多标签分类和消失点的预测。     这种结构允许我们检测和分类车道和道路标记，并同时预测一个前进通道中消失的区域。

网络包括四个模块的输出，每一个输出的结果都可以进行结果互补（一个结果可以作为另一个结果的输入）。

4.2. Vanishing Point Prediction Task

由于恶劣的天气环境、照明条件和遮挡，车道的能见度降低。然而，在这种情况下，人类可以通过诸如附近的道路结构或交通流量等global信息，直观地预测车道的位置。受此启发，我们设计了一个消失点预测(VPP)任务，该任务指导类似于人类视觉的鲁棒车道和道路标记检测。

人类可以从全局信息（如附近的道路结构或交通流量），直观地预测车道的位置。

**消失点：**平行的车道线在远处交汇的点。（本文定义：从图形的角度来看，是三维空间中的平行线收敛到二维平面上的一点；）。消失点可以用于提供场景的全局几何上下文，这对于推断车道和道路标记的位置很重要。

我们将VPP模块与多任务网络相结合，训练车道线收敛到一点。

”使用softmax分类器对网络的空间输出进行矢量化，以预测VP的确切位置“方法不可行：在整个网络的输出空间向量化后，只选择其中一个点会导致定位不精确。

图4b中的损失比较间接地表明，与二进制情况相比，网络经过训练而没有过拟合。

4.3. Training