论文阅读 Learning Affinity via Spatial Propagation Networks

abstract

通过一个空间传播网络来学习affinity matrix来用于vision tasks。实验证明，构造一个线性传播模型，空间上变换的affinity matrix可以用来建模图像密集和全局相似性。本文创建了一个three-way 连接的线性传播模型。该模型构造了一个所有元素均来自于DCNN的稀疏传播矩阵，同时创造了一个能用来建模任意特定任务的密集近邻矩阵。本文用data-driven manner来获取similarities，结果可以用在所有相似的图像任务上，包括但不限于图像分割。

---

Introduction

邻接矩阵是用来描述两个点有多近，多相似的。在高维空间任务也有作用，但是一直没有视作为一个可学习的问题。在这个paper里我们证明学习affinity matrix等价于学习一系列row/column wise空间上线性变换的矩阵。在这里，我们发现用three-way connection比用fully connection更有效地学习dense affinity matrix。

---

用data-driven manner学习affinity matrix的优势是多方面的（multifold）。1. 在低维空间的相似矩阵的assumption并不适用于mid-to-high-level。2. 可以学习高维的特征的affinity。

---

ralated work

略

---

proposed approach

SPN 能够转换一个2D map成一个新的拥有希望性质的map。这个过程等价于standard anisotropic diffusion process。图像转换相当于是经过laplacian matrix转化的。（从未见过如此数学化的dcnn论文）

数学证明 linear propagation as spatial diffusion

假设$X$, $H$是2D图像，大小是$n\times n$, $x_t, h_t$是第$t$纵列。对于left-to-right的传播，有如下跟新规则。

$$h_t = (I - d_t)x_t + \omega _t h_t-1\tag{1}$$
$I$是单位矩阵，初始化条件 $h_1 = x_1$，以及 $d_t(i,i)$是对角矩阵， $i^{th}$元素是第i列 $\omega _t$的和。

dt(i,i)=∑j=1,j≠