(CVPR 2018) 3D Semantic Segmentation with Submanifold Sparse Convolutional Networks

Abstract

卷积网络是分析图像、视频和3D形状等时空数据的事实标准。虽然其中一些数据自然密集（例如照片），但许多其他数据源本质上是稀疏的。示例包括使用LiDAR扫描仪或RGB-D相机获得的3D点云。当应用于此类稀疏数据时，卷积网络的标准“密集”实现非常低效。我们引入了新的稀疏卷积运算，旨在更有效地处理空间稀疏数据，并使用它们来开发空间稀疏卷积网络。我们展示了生成的模型（称为子流形稀疏卷积网络（SSCN））在涉及3D点云语义分割的两项任务上的强大性能。特别是，我们的模型在最近的语义分割竞赛的测试集上优于所有先前的最新技术。

1. Introduction

卷积网络(ConvNets)构成了用于各种任务的最先进的方法，这些任务涉及分析具有空间和/或时间结构的数据，例如照片、视频或3D表面模型。虽然此类数据通常包含密集的（2D或3D）网格，但其他数据集自然是稀疏的。例如，手写是由二维空间中的一维线组成的，RGB-D相机拍摄的图片是三维点云，多边形网格模型在3D空间中形成二维曲面。

维数灾难尤其适用于存在于具有三维或更多维的网格中的数据:网格上的点数随其维数呈指数增长。在这种情况下，尽可能利用数据稀疏性以减少数据处理所需的计算资源变得越来越重要。事实上，当分析例如稀疏填充的4D结构的RGB-D视频时，利用稀疏性是至关重要的。

传统的卷积网络实现针对密集网格上的数据进行了优化，但无法有效处理稀疏数据。最近，出现了许多卷积网络实现，它们被定制为在稀疏数据上高效工作[3，4，18]。在数学上，其中一些实现与常规卷积网络相同，但在FLOPs和/或内存方面需要更少的计算资源[3