引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

创新点

方法详解

对比SPN

总结

---

创新点

1.改进了SPN网络，主要是更新方式上从串行扫描改为局部同时更新，也就是CSPN

---

网络结构

 

      首先总的结构采用了早期融合模型的框架，但这里的稀疏深度图输入是一个可选输入，指导深度细化，然后将SPN网络嵌入整个网络中而不是专门构建新的网络学习相似性，特征提取使用的是resnet，考虑到下采样过程中会丢失空间信息，网络添加了镜像连接将特征连接到上投影层，特征融合后得到一个深度图，然后根据相似性矩阵更新深度图得到稠密准确的结果。 

方法详解

卷积空间传播网络CSPN

给定深度图和图像，本文网络的任务是迭代n次将深度图不断更新，对于每个时间步长t，核大小为k的卷积变换泛函可以写成：

 

 

这个核k就是亲和网络的输出，CSPN在一个位置向所有方向传播局部区域同时进行

CSPN具有SPN的所有期望属性。

 

新的扩散过程的推导：

         图（Graph）是用于表示物体与物体之间存在某种关系的结构。数学抽象后的“物体”称作节点或顶点，节点间的相关关系则称作边

       其中L是拉普拉斯矩阵，D是图里顶点相邻的边数，A是亲和矩阵，表示有限图，它的每个元素代表各点之间是否有边相连，也就是，是G的非对角部分

       新的更新方式与SPN不同用偏微分的方法以时间步长t为变量使用L（拉普拉斯矩阵）更新深度图。

稀疏深度样本的空间传播

就是将上面的网络输出深度（更新前）变为稀疏深度图输入，相应的改变迭代公式：

1.学习到了和有效像素相同的深度值

2.信息传播到了周围像素，保证了平滑度

3.深度图和图像结构对齐

对比SPN

线性传播SPN

线性变换矩阵wt在相邻列之间从左到右线性传播信息

其中I是n×n单位矩阵，初始条件h1=x1，dt（i，i）是对角矩阵，其中第ith个元素是wt的第I行的所有元素之和：

 

矩阵以逐列方式递归更新，每列是前一列的线性加权组合

上式表示空间各向异性扩散过程，具有线性传播的亲和矩阵A由等式中G的非对角元素组成。

---

总结

文章贡献

我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：

（1）优化现有最先进方法（SOTA）的深度输出；

（2）通过在传播过程中嵌入深度样本，将稀疏深度样本转换为密集深度贴图。