深度补全延伸系列——1——SPN

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

目录

前言

SPN概述

方法详解

总结

---

前言

文献	期刊	年份
Liu S, De Mello S, Gu J, et al. Learning affinity via spatial propagation networks[J]. Advances in Neural Information Processing Systems, 2017, 30.	NeurlIPS	2017

---

SPN概述

       空间传播网络（SPN）是一个通用框架，可应用于许多与亲和力相关的任务。亲和矩阵是一种通用矩阵，用于确定空间中两点的接近程度或相似程度。在计算机视觉任务中，它是一个加权图，将每个像素视为一个节点，并通过一条边连接每对像素。该边上的权重应反映不同任务的成对相似性。学习亲和矩阵的问题可以等价地表示为学习一组小的行/列方向的空间变化线性变换矩阵。空间传播网络（SPN），包含一个学习亲和实体的深度CNN和一个空间线性传播模块。

     （a）输出了一个稀疏变换矩阵，（b）产生了一个密集的亲和矩阵，该矩阵有效地模拟了任何任务特定的成对相似矩阵。映射的变换由空间传播模块的参数构成的拉普拉斯矩阵控制。

方法详解

 

（a）单向连接的不同传播范围；和（b）三路连接。每个像素（节点）从具有单向连接的单线和具有三向连接的二维平面接收信息。四个方向的积分w.r.t.（b）产生全局和密集连接的配对关系

线性传播

       线性变换矩阵wt在相邻列之间从左到右线性传播信息

       其中I是n×n单位矩阵，初始条件h1=x1，dt（i，i）是对角矩阵，其中第ith个元素是wt的第I行的所有元素之和：

 

      矩阵以逐列方式递归更新，每列是前一列的线性加权组合

       上式表示空间各向异性扩散过程，具有线性传播的亲和矩阵A由等式中G的非对角元素组成。

       不同的图像有不同的亲和矩阵，将wt矩阵设置为模块的固定参数，我们将其设计为深度CNN的输出，可以直接根据输入图像进行调节

（a）它相当于一维线性循环传播，作为一维序列独立扫描每一行/列。其中单向连接的左右传播为

       单向连接是顺序循环传播的直接扩展，单向连接形成一个备用亲和矩阵，因为a的每个子矩阵仅沿其对角具有非零元素，并且几个单独的对角矩阵的乘法也将产生一个对角矩阵。

（b）它允许每个像素连接到前一行/列的三个像素，即从左到右传播方向的前一列的左上、中和下像素

      空间传播期间简单地将每个像素的连接数从一个增加到三个，像素可以密集地全局关联，为了使得模型稳定，可以将权重正则化，不一定将亲和矩阵限制为正定或半正定

---

总结

SPN可以用在很多地方，他的基本理论是基于无向图的概念，具体可以看我的另一篇博文。