读书笔记Self-supervised Monocular Road Detection inDesert Terrain

Self-supervised Monocular Road Detection inDesert Terrain
无人驾驶先驱性的文章之一，DARPA比赛实践，利用激光雷达提取近距离道路位置，便于图像进行可行驶区域检测，结合雷达障碍物检测完成目标
文章总体方法包括七个主要部分。
（A）数据处理不受雷电影响，能够从传感器中提取近距离道路位置，
（B）从视野中去除天空和阴影区域，
（C）学习附近道路的视觉模型，
（D）通过该模型对视野进行评分，
（E）选择确定的道路斑块，
（F）构造天空视野的可驾驶性地图，
（G）利用该地图制定驾驶策略。

1 数据处理不受雷电影响，能够从传感器中提取近距离道路位置

主要利用点云数据，通过构建时间序列Markov链以建模点不确定性，同时寻找地图单元内和整个地图单元内的高度差来实现可行驶地面检测，重点方法在下文进行叙述。

S. Thrun, M. Montemerlo, and A. Aron: Probabilistic Terrain Analysis For High-Speed Desert Driving. Proc. Robotics Science and Systems, Philadelphia, PA, USA, August 16-19 2006.

由于有GPS数据，这可以告诉无人车它 Grand Challenge驾驶区域中，激光雷达将地面识别为平坦的，将点云数据分析道路后目标的矩形框投影到图像上，可以安全地假设图像中的该区域仅包含可驾驶的表面或道路。

2 从视野中去除天空和阴影区域

去除阴影区域：将阴影像素定义为亮度低于最小阈值且蓝色含量大于其红色或绿色含量（在三个通道的每个通道中按8位测量）的任何像素。
去除天空区域：利用下文地平线检测算法消除地平线以上像素，并扩充算法检测地平线以下的天空像素，进行消除。
红线为地平线

S. Ettinger, M. Nechyba, P. Ifju, and M. Waszak: Vision-Guided Flight Stability and Control for Micro Air Vehicles, Advanced Robotics, Vol. 17: 617-640, 2003

3 学习附近道路的视觉模型

使用的基础模型是RGB空间下的混合高斯模型，利用k-means算法对训练空间所有的像素进行分类，对每一个聚类对象通过它的均值μ，协方差Σ，重量m（像素点数）进行建模，记为模型L。
该方法还需要提供一个聚类数目更多（n>T）的模型T。初始时，这些学习模型都是空的，在视频流的每一帧中都要将训练模型和学习模型进行对比，当满足：

便利用学习模型对训练模型进行赋值更新

如果训练模型和当前的学习模型没有相匹配的，可能会进行两种操作：如果存在空模型，空模型会被训练模型替代；如果没有空模型，拥有最低m值的学习模型将被清除，用训练模型替代。利用这种方法，一直更新模型直到存储模型饱和。一旦饱和，新模型仍能够训练，当前与模型经验值不相符的模型将被清除，给新模型留出空间。
当场景缓慢变化时，该训练模型能够匹配上已训练好的一个模型，通过融合数据缓慢更新。当场景迅速变化时，系统能够从训练数据中产生新模型替代旧模型，以做出即时反应。因此，该方法能够适应缓慢变化和迅速变化的场景。

4 通过该模型对视野进行评分

为每一个像素赋予“roadness”类别和分数，是点到学习的高斯模型均值的最小Mahalanobis距离， 该高斯模型的m值大于某个均值，能够节约计算 。效果如图下。

5 选择确定的道路部分

通过将距离远于3σ的图像点阈值化，得到表示每个像素可行驶性的二进制图像。但是，大多数道路上仍存在未归类为可行驶的个别异常像素。这些像素通常对应于小叶子，石头和其他不被视为障碍的物品。为了避免受到这些杂质的影响，我们在图像上运行了一个膨胀算子和两个腐蚀算子，去除较小的不可行驶像素，同时保留较大的障碍物和环绕在他们周边的区域。此外，我们仅接受与训练多边形的位置具有连接路径的像素。这样就消除了由遥远的山脉或其他恰好具有与主干路相同特性的杂乱杂物组成的杂波，最终分类结果在图3的右侧显示为红色像素。

6 构造天空视野的可驾驶性地图

将2D可行驶区域逆透视投影到天空视角的俯视图（类似于点云俯视图）上用于提取训练区域，投影的主要原因是图像没有深度信息。

作为近似，我们假设道路平坦但向上或向下倾斜恒定的角度，从而进行逆转投影变换。该假设适用于挑战中遇到的几乎所有道路，因为它允许倾斜和下降，只要坡度变化不大即可。该假设无效的地方通常位于高度不规则的山区。在高山上，车辆仍然很慢，因此安全驾驶不需要计算机视觉作为远程传感器

给定相机的6D姿势信息，将相机图像投影到视觉图。结果，通过这种方法创建的地图（下图的右侧）比仅使用激光器创建的地图（下图的左侧）远得多。

7 制定驾驶策略

图像检测时，对障碍物检测效果不佳，只能检测可行驶路面但利用激光雷达可以区分障碍物。因此，我们的驾驶策略仅在激光图中执行路径规划，而是将视觉图用作速度选择策略的一部分：默认情况下，车辆的最大速度为11.2m / s（25mph）。仅当视觉图仅在计划路径的下一个40m中仅包含可驱动单元时，最大速度才设置为15.6m / s（35mph）。因此，计算机视觉可作为预警系统。如果我们的车辆正在高速驶向障碍物，一旦视野无法看到40m的净路，车辆就会减速。一旦障碍物进入激光范围内，车辆就已经减速，并且可以使用激光测距仪避免障碍物而不会超出横向加速度限制。尽管在比赛中不需要，但在湿滑的砾石表面上，在道路中间避开了固定的，汽车大小的障碍物时，速度高达17.9m / s（40mph）