论文笔记-Sparsity Invariant CNNs

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Kevin_cc98/article/details/80002807

Sparsity Invariant CNNs
这篇文章提出了一个稀疏卷积网络框架,从稀疏的深度图中补全深度(depth completion)。这个稀疏卷积网络框架能够处理不同稀疏程度的深度数据。此外本文由kitti数据生成了一个对应的rgbd数据来用于训练。

此处的稀疏卷积网络指的是应对稀疏输入的网络,而非用drop等方法使得网络参数更加稀疏(模型压缩)。

深度补全大致分两个派别:有图像指导的(Image guided depth completion),无图像指导的(non-guided depth completion)(比如双边滤波等方法)。

对于输入是稀疏的深度时:
- naive的方法是将没有深度的地方有一个默认值补全,比如0;但由于滤波卷积需要处理不同pattern的输入,而随卷积核的大小pattern可能性也指数型增长,所以此方法容易导致次优化的结果。

  • 或者进行插值来补全图像中无值区域
  • 或用一个与原图同大小的mask来去掉无值得部分而保留稀疏部分(实际中mask往往合并到原来图像成为输入的第2个或第4个channel)

作者提出的稀疏卷积网络与mask方法相似,此处的mask是二值的,通过mask给输入的稀疏程度给卷积核以对应权值,最后再除以mask的值来进行归一化,比如对于(u,v)坐标的对应输出结果:

归一化后,这样受稀疏程度影响比较小。

下一层的mask的计算方式如下:

即如果下一层神经元的观察域但凡有一个有效点,则该神经元有效
其主要包括两个部分:

1.作者提出根据输入的稀疏性对输出进行处理:
这里写图片描述
对于输入图像遇到的第一层卷积层,将无深度值得地方默认为0,那么对其用普通卷积层的过程即是稀疏卷积过程。

2.对于后续经过的每一层卷积层,就必须要用到输入的稀疏程度的mask。所以从第一层卷积层开始,每层的还要再输出一个输出稀疏性的mask给下一层。这个mask的计算也比较简单:
这里写图片描述
如果这个卷积核的感知区域全为0,那么它就为0,否则为1。

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页