论文笔记-Sparsity Invariant CNNs

Sparsity Invariant CNNs
这篇文章提出了一个稀疏卷积网络框架，从稀疏的深度图中补全深度（depth completion)。这个稀疏卷积网络框架能够处理不同稀疏程度的深度数据。此外本文由kitti数据生成了一个对应的rgbd数据来用于训练。

此处的稀疏卷积网络指的是应对稀疏输入的网络，而非用drop等方法使得网络参数更加稀疏（模型压缩）。

深度补全大致分两个派别：有图像指导的（Image guided depth completion），无图像指导的（non-guided depth completion）(比如双边滤波等方法)。

对于输入是稀疏的深度时：
- naive的方法是将没有深度的地方有一个默认值补全，比如0；但由于滤波卷积需要处理不同pattern的输入，而随卷积核的大小pattern可能性也指数型增长，所以此方法容易导致次优化的结果。

• 或者进行插值来补全图像中无值区域
• 或用一个与原图同大小的mask来去掉无值得部分而保留稀疏部分（实际中mask往往合并到原来图像成为输入的第2个或第4个channel）

作者提出的稀疏卷积网络与mask方法相似，此处的mask是二值的，通过mask给输入的稀疏程度给卷积核以对应权值，最后再除以mask的值来进行归一化，比如对于(u,v)坐标的对应输出结果：

归一化后，这样受稀疏程度影响比较小。

下一层的mask的计算方式如下：

即如果下一层神经元的观察域但凡有一个有效点，则该神经元有效
其主要包括两个部分：

1.作者提出根据输入的稀疏性对输出进行处理： <