vanishing point detection in autopilot

1. 概述

消失点一种直观的解释是图像中的平行线的交点，也就如下图中路面边界绘制的直线在图像中的交点。

这样的点在自动驾驶场景下可以为解析车辆状态提供一些信息，比如较为常规的运用便是用于车辆的pitch角度。在传统方法中会通过如霍夫算子检测图片中的直线，并以直线的方程计算对应的交点。这类方法对场景的要求较为严苛，导致在实际中会引入其它的trick来适应多变的使用场景。基于数据驱动的深度学习方法也可对该问题提供一些解决方法，在这篇文章中将会介绍一些使用深度学习方法实现消失点检测的方法。

2. 基于深度学的消失点检测方案

2.1 Vanishing point detection with convolutional neural networks

这篇文章提出了一种基于分类的消失点检测算法和一个消失点检测数据集，下图展示该数据集的图片示例与数据分布：

该消失点检测算法按照CNN特征维度大小对图像进行网格表示，若消失点落在了某个网格中，那么该网格的分类类别就是正了。自然带来的问题就是消失点检测比较粗糙，不够精细化。

2.2 VPGNet: Vanishing Point Guided Network for Lane and Road Marking Detection and Recognition

参考代码：VPGNet

在一般驾驶场景下消失点往往是车辆行驶方向车道线的交点，那么在一些较差环境下消失点的确立能帮助如车道线检测等任务，这一定程度上符合人的直观感受。对此在现有网络基础上添加一个消失点检测头。其网络结构如下：

而对于消失点的建模，文中对比了heatmap和分割形式的建模两者的性能比较：

可以从右图中看到基于分割的方法是好于基于heatmap的，在图中存在明确消失点的时候以消失点为交点将图像划分为4个格子，并用4个通道去预测对应格子的分割结果。而在如遮挡场景下，消失点不是那么明确就用在第5个通道预测去表示这样的情况。

2.3 Vanishing Point Detection with Direct and Transposed Fast Hough Transform inside the neural network

深度学习的方法存在数据适应性的问题，为了减轻数据变化对消失点检测带来的影响，将图像中的集合信息融合进入网络中，便是