CSPN

原文

提出卷积空间传播网络(CSPN)为深度估计学习关联矩阵。具体来说就是，采用一个线性传播模型以循环卷积的形式传播，DCNN学习临近像素间的关联关系。

深度估计提升性能的方法有：

1. 使用更好的网络(如VGG、ResNet)估计全局场景布局和尺度。
2. 通过反卷积、跳跃连接、反投影更好地恢复局部纹理。

我们提出的CSPN中，每个像素的深度值在一个卷积上下文中同时更新。这个长程上下文(long range context)由一个循环操作获得。这种并行更新模式大大提高了性能。

给定一个单目图像，CSPN用于两个深度估计任务：

1. 优化现有方法产生的深度图。
2. 用激光雷达获取的稀疏深度图产生稠密深度图。

本文遵循的准则：

1. 产生的深度图应该和图像结构一致。
2. 稀疏的深度值应该不变，因为它们来自可靠的激光雷达。
3. 稀疏的深度值和它们周围的深度值应该过渡平滑。

为此，基于这个网络添加镜像连接，然后把传播嵌入SPN以保护稀疏深度，最后把SPN改成CSPN。

相关工作

1. CNN和CRF估计单目深度。
2. 深度增强：有一些工作专门做RGB/D图像增强，包括近年基于深度学习的超分辨率。这些工作用的训练样本(低分辨率图和高分辨率图)都是很准确的。而本文的数据来自激光获取的稀疏深度图或其他网络产生的深度图，这样的图有误差。因此需要SPN这样专门的扩散处理机制指导增强。
3. 学习关联信息用于空间扩散：我们的工作和SPN最像，为了实现扩散，把学习一个大关联矩阵的问题转化为学习一个局部线性空间传播的问题。这样就产生一个用于图像增强的简单有效的方法。
4. 根据已知稀疏深度值估计深度。

方法

我们把问题看作一个各向异性扩散过程，扩散张量由DCNN直接从给定的图像学得并用于优化输出。

卷积空间传播网络

已知某网络输出的一个的深度图和的图像，我们的目标是用步迭代得到一个新的深度图。这个新深度图不仅反映图像的更多细节，还提升了每个像素深度值的准确性。

图2.SPN和CSPN传播过程的对比

图2(b)展示了我们的更新操作。形式上，不失一般性，我们可以把嵌入一些隐藏层。时刻核大小为的卷积变换函数可以写为：，其中，。变换核是关联网络的输出，它在空间上依赖输入图像。卷积核通常设置为奇数，这样像素周围需要计算的上下文就是对称的(奇数的卷积核可以以该像素为中心，上下左右对称)。指元素相乘。根据SPN，我们把核的权重归一化到，这样满足，网络可以稳定并收敛。然后执行次迭代获得满意的分布。

融合过程对应的偏微分方程(PDE)。类似SPN，我们的CSPN包含SPN所有的期望特性。