每天一篇论文(270/365) Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network

Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network
通过卷积空间传播网络进行相似性学习深度估计

code

摘要

单幅图像的深度估计是计算机视觉中的一个基本问题。本文提出一种简单而有效的卷积空间传播网络（CSPN）来学习深度预测的相似矩阵。具体地说，我们采用了一种有效的线性传播模型，该模型通过递归卷积运算来进行传播，并通过一个深卷积神经网络（CNN）来学习相邻像素之间的相似度。我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：（1）细化现有的现有技术（SOTA）方法的深度输出；（2）通过在传播过程中嵌入深度样本来将稀疏深度样本转换为密集深度图。第二项任务的灵感来自于激光雷达的可用性，它提供稀疏但精确的深度测量。我们在NYU v2[1]和KITTI[2]数据集上对所提出的CSPN进行了实验，结果表明，与以往的SOTA方法相比，我们提出的方法不仅提高了深度图的质量（例如深度误差减少30%），而且提高了深度图的速度（例如，速度提高了2到5倍）。

贡献

1.我们提出了卷积空间传播网络（CSPN），它在不牺牲理论基础的前提下，比以往的SOTA传播策略更有效、更准确地估计深度。
2.我们将CSPN扩展到将稀疏深度样本转换为稠密深度图的任务中，使用所提供的稀疏深度到传播过程中。它确保稀疏输入深度值保留在最终深度图中。它实时运行，非常适合机器人和自动驾驶应用，在这些应用中，激光雷达的稀疏深度测量可以与图像数据融合。

方法

空间传播网络(SPN)与卷积空间传播网络(CSPN)
SPN
背景知识Learning Affinity via Spatial Propagation Networks

通过网络学习深度估计主要地，CSPN也可以通过sump积算法从循环传播中导出。由于我们的方法采用线性传播，这是有效的，而只是一个特殊的情况下，二级重建损失图形模型。因此，为了使其更精确，我们将我们的策略称为扩散过程领域中的卷积空间传播

细节估计结果

网络结构

结果