论文阅读 SPN和CSPN

SPN 论文链接
CSPN 论文链接

Spatial Propagation Network

• Linear Propagation as Spatial Diffusion

我们在空间传播网络的同时应用了线性变换，其中矩阵在四个固定方向上进行行/列扫描：从左到右、从上到下还有 verse-vise 。我们以从左到右的方向为例进行下面的讨论。其他方向以相同的方式独立处理。

• Learning Data-Driven Affinity

Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

摘要

• 我们提出了一种简单而有效的卷积空间传播网络（CSPN）学习深度预测的亲和矩阵.

• 具体来说，我们采用了一种有效的线性传播模型，其中传播使用循环卷积运算的方式执行，并且相邻像素之间的affinity通过深度卷积神经网络(CNN)学习

• 我们在两个单张图像进行深度估计的任务中应用了CSPN

1. Refine 已有SOTA的输出
2. 在传播过程中嵌入深度采样，把稀疏的深度图变成密集的深度图

介绍

• SPN是串行的
• 提出了CSPN，速度和准确率都更高，并且不牺牲理论支持
• 我们将CSPN扩展到使用传播过程中提供的稀疏深度将稀疏深度样本转换为密集深度图的任务。它保证稀疏输入深度值保留在最终深度贴图中。它实时运行，非常适合机器人技术和自动驾驶应用，在这些应用中，激光雷达的稀疏深度测量可以与图像数据融合

相关工作

深度估计和强化/细化一直以来是计算机视觉和机器人领域的核心问题，下面我们从以下几个方面来总结概况：

• Single view depth estimation via CNN and CRF（基于CNN和CRF的单视点深度估计）
  用于测量相邻像素相干性的亲和力是手动设计的。
• Depth Enhancement
• Learning affinity for spatial diffusion.
• Depth estimation with given sparse samples

作者的方法

• 我们将问题描述为各向异性扩散过程，扩散张量直接从给定图像通过深度CNN学习，从而指导输出的细化。

Convolutional Spatial Propagation Network

。。。。。。。待续