每天一篇论文 273/365 Learning Depth with Convolutional SpatialPropagation Network

卷积空间传播网络学习深度

原文

Code

SPN网络

摘要

本文提出了卷积空间传播网络（CSPN），并证明了其在各种深度估计任务中的有效性。CSPN是一种简单而有效的线性传播模型，它利用递归卷积运算的amanner进行传播，通过一个深卷积神经网络（CNN）学习相邻像素之间的亲和力。与以往的最新线性传播模型（SPN）相比，CSPN在实际应用中要快2～5倍。将CSPN及其变体连接到SOTA深度估计网络中，显著提高了深度估计的精度。具体地说，我们将CSPN应用于两个深度估计问题：深度完成和立体匹配，其中我们设计了在传播过程中嵌入稀疏深度样本、进行三维卷积运算以及与空间金字塔池协同的模块。在我们的实验中，我们证明了所有这些模块都对最终的性能有贡献。对于深度完成任务，我们的方法在NYU v2和kitti数据集中将深度误差降低了30%以上。对于立体匹配的任务，我们的方法目前对2012年和2015年的基蒂立体声基准进行了1次测试。

作者首先提出深度估计的三个基本要求：
（1）恢复的深度图应与图像结构一致；
（2）应保留稀疏样本的深度值，因为它们通常来自可靠的传感器；
（3）稀疏深度样本与其相邻深度之间的转换应平滑且不易察觉。

双目匹配

现有的方法 GCNe学习直接从数据中合并几何上下文，在视差成本体积上使用3D卷积（3DConv）。PSMNet采用了类似的思想，同时在特征编码器结束时使用空间特征池在尺度空间扩张，并使用3DConv从其叠加的沙漏网络获得多尺度输出。
本文提出：我们将二维空间传播的CSPN提升到三维空间，在三维空间中，信息在离散空间和尺度空间中传播，由于细节的改善和细节的缺失，使得估计结果更加精确。

本文提出的CSPN 和 3DCSPN

CSPN

3DCSPN

SPP使用扩张卷积来获得不同背景下的特征。类似地，我们的CSPN可以通过学习金字塔每一层的空间依赖变换核以相同的方式进行扩张卷积。

结果