Sparsity Invariant CNNs
这篇文章提出了一个稀疏卷积网络框架,从稀疏的深度图中补全深度(depth completion)。这个稀疏卷积网络框架能够处理不同稀疏程度的深度数据。此外本文由kitti数据生成了一个对应的rgbd数据来用于训练。
此处的稀疏卷积网络指的是应对稀疏输入的网络,而非用drop等方法使得网络参数更加稀疏(模型压缩)。
深度补全大致分两个派别:有图像指导的(Image guided depth completion),无图像指导的(non-guided depth completion)(比如双边滤波等方法)。
对于输入是稀疏的深度时:
- naive的方法是将没有深度的地方有一个默认值补全,比如0;但由于滤波卷积需要处理不同pattern的输入,而随卷积核的大小pattern可能性也指数型增长,所以此方法容易导致次优化的结果。
- 或者进行插值来补全图像中无值区域
- 或用一个与原图同大小的mask来去掉无值得部分而保留稀疏部分(实际中mask往往合并到原来图像成为输入的第2个或第4个channel)
作者提出的稀疏卷积网络与mask方法相似,此处的mask是二值的,通过mask给输入的稀疏程度给卷积核以对应权值,最后再除以mask的值来进行归一化,比如对于(u,v)坐标的对应输出结果:
归一化后,这样受稀疏程度影响比较小。
下一层的mask的计算方式如下:
即如果下一层神经元的观察域但凡有一个有效点,则该神经元有效
其主要包括两个部分:
1.作者提出根据输入的稀疏性对输出进行处理: <