引导方法深度补全系列—基于SPN模型—4—《Penet:Towards precise and efficient image guided depth completion》文章细读

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

网络结构

方法详解

总结

---

创新点

1.双分支结构，并加速了CSPN++，此时使用这种方法为了精细融合后的深度图

---

文章概述

1.提出双分支结构

一个分支输入彩色图像和稀疏深度图以预测密集深度图。另一个分支将稀疏深度图和先前预测的深度图作为输入，并输出密集深度图。

2.

提出了一个简单的几何卷积层来编码三维几何线索

3.

进一步实现了扩展和加速的CSPN++来有效地细化融合深度图，

集成了一个基于CSPN++[7]的模块

两个分支预测的深度图彼此互补。因此，我们将它们与学习的置信权重自适应地融合。

网络结构

它由两个分支主干和深度细化模块组成。这些分支根据颜色主导和深度主导信息预测两个密集深度图，分别表示为CD深度和DD深度。CD深度和DD深度通过扩展和加速（DA）CSPN++自适应融合和进一步细化。这里，（1）-（5）表示多尺度CD特征，然后将其与DD特征连接起来

方法详解

 1.引入了类似于扩张卷积的扩张策略，以扩大传播邻域。在标准的卷积核中注入空洞，以此来增加模型的感受野（reception field）。相比原来的正常卷积操作，扩张卷积多了一个参数： dilation rate，指的是卷积核的点的间隔数量

 2.设计了一个实现，使来自每个邻域的传播并行

       转换为张量级运算。考虑k×k大小的邻域，我们从网络中学习k×k个亲和映射，每个亲和映射表示一个特定邻域对所有像素的亲和性。然后，每个亲和图需要沿着对应邻域的相反方向平移以进行对齐。以一个3×3的邻域为例，我们使用九个一热卷积核来实现这些转换，T（Ax，x）表示一个转换算子，它将亲和映射Ax沿−x方向。

       原本是每次迭代逐个像素进行更新，现在可以理解为每个领域像素单提出来进行N步迭代，再加上使用的张量计算，可以说是并行执行，传播加快。

---

总结

CSPN++的卷积实现，相比于像素级的扩展，卷积更适合在GPU上运行。