【论文详解】Sparsity Invariant CNNs

Abstract

       本文主要研究了稀疏输入下的卷积神经网络，并用稀疏的激光雷达扫描数据进行实验。传统的CNN在输入稀疏数据时性能很差，即使提供了丢失数据的位置，效果也不理想。为了解决这个问题，本文提出了一个简单有效的稀疏卷积层，在卷积运算中明确考虑了丢失数据的位置。 

1.Introduction

       卷积神经网络CNN几乎影响了计算机视觉的所有领域。通常情况下，CNN的输入是一个图像或者视频，用稠密的矩阵或者张量表示。通过将卷积层与非线性层、池化层结合，CNN能够在第一层提取低层次特征，然后再后续层中依次学习更高层次的特征。然而，当网络的输入是稀疏或者不规则的（例如只有10%的像素携带有用信息），对于每个滤波器的位置该怎样定义不十分明确，输入的数量和位置会发生变化。

       为了解决这个问题，一个简单的方法是给所有无信息的位置分配一个默认值，但是这种方法只能得到次优的结果，因为过滤器必须对所有可能的激活模式保持不变，其数量随着过滤器的尺寸呈指数增长。

       本文提出了一个简单有效的解决方案：引入了一个稀疏的卷积层，它根据输入像素的有效性对卷积核的元素进行加权。此外，第二个stream将关于像素有效性的信息传送给网络的后续层。

       重要的是，实验证明，该网络对不同稀疏程度的输入数据都有很好的效果