VPGNet—用于车道线和道路标志检测和识别的消失点引导网络

用于车道线和道路标志检测和识别的消失点引导网络（VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition）

前言：

这是ICCV 2017的一篇文章。通过消失点（vanishing point）去辅助处理车道线和道路标志的检测和识别。针对自动驾驶中雨天和黑夜的研究现状（截至2017年，并无公开的基准数据集），该文构建了带有消失点标记的4种场景数据集（no rain, rain, heavy rain, and night），17类车道线和道路标志，共20000余张图片。该文提出一种多任务的端到端网络，且该网络能够检测到未被明确看到的车道，且能够达到20fps的速度。

网络模型和数据集见：https://github.com/SeokjuLee/VPGNet（使用caffe框架）

效果见：https://www.youtube.com/watch?v=jnewRlt6UbI

图1展示了本文检测效果。

思路来源：

研究表明，驾驶员注视方向与道路方向高度相关，因此几何背景在车道定位中很重要。本文想要以类似人类的方式识别全局环境，利用一个消失点预测任务来嵌入几何上下文信息到所提出的网络。

数据集：

表1、表2分别展示了数据集的场景和类别信息。


消失点标注：【EASY：一个清晰的场景（如笔直的道路）；HARD：混乱的场景（如交通堵塞）；NONE：消失点不存在的地方（如十字路口）】。直线和曲线车道都被用来预测消失点

**道路标志：**Other markings：南韩所特有的道路标志，或者无法被区分为一个特定的类别。

基于深度学习的通用目标检测方法（例R-CNN）对通用图片检测效果较好，但对于车道线检测效果不佳（因为车道线是小物体）。

单目相机采集数据。相机在车内，偶尔会拍到雨刷器的照片。

如果采用像素级标注，经过卷积和池化后，标注信息可能消失，因此该文将像素级注释投影到网格级掩码上（图像被划分为一个8×8的网格，网格单元将对应填充一个与原始标注图中同样的类标签）。消失点也同样被标注。***（将标注信息变得更粗了）***

图2展示了数据集中的标注信息的一个例子。