ECCV2020解读:SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation...

摘要

无碰撞空间检测是自动驾驶汽车视觉感知的重要组成部分。近年来在数据融合卷积神经网络(CNNs)方面所做的努力，显著改善了语义驱动场景分割。无碰撞空间可以假设为一个地平面，其上的点具有相似的表面法线。因此，本文首先介绍了一种新的模块——表面法线估计器(SNE)，它可以从密集深度/视差图像中高精度、高效率地推断出表面法线信息。

此外，我们提出了一种数据融合CNN架构，称为RoadSeg，它可以从RGB图像和推断的表面法线信息中提取和融合特征，以实现精确的自由空间检测。为了研究目的，我们发布了一个大型合成的freespace检测数据集，命名为Ready-to-Drive (R2D)道路数据集，在不同的光照和天气条件下收集。实验结果表明，我们所提出的SNE模块可以使所有最新的CNNs都受益于空间检测，而我们的SNE- roadseg在不同的数据集中获得了最佳的整体性能。

简介

自动驾驶汽车是科幻电影和系列电影中的一个常见场景，但由于人工智能的兴起，在您的车库前院挑选一辆这样的汽车的幻想已经变成了现实。驾驶场景下对周围环境的理解是自动汽车的一项重要任务，随着人工智能的最新进展，它有了很大的飞跃。无碰撞空间（Collision-free space，简称freespace）检测是驾驶场景理解的一个基本组成部分。自由空间检测方法一般将RGB或深度/差值图像中的每个像素分类为可驾驶或不可驾驶。这种像素级的分类结果会被自主系统中的其他模块所利用，如轨迹预测和路径规划，以确保自动驾驶汽车能够在复杂的环境中安全航行。

现有的无碰撞空间检测方法可以分类为传统方法或基于机器/深度学习的方法。传统