学习笔记：Learning Full Pairwise Affinities for Spectral Segmentation

大多数研究通常将分割问题定义为寻找一种最小化特定能量函数的图像的标记。

在原图像中，一些问题使得无监督的图像分割变得困难，比如寻找模糊的对象边界和分离高度杂乱的背景。

本文是在mean shift算法基础上研究的。

Mean Shift向量：偏移的均值向量。定义如下：对于给定dd维空间RdRd中的nn个样本点xi,i=1,2,…,nxi,i=1,2,…,n在xxd点的Mean Shift向量的基本形式定义为：

Mh(x)=1k∑xi∈Sh(xi−x)Mh(x)=1k∑xi∈Sh(xi−x)

其中， ShSh是一个半径为 hh的高维球区域： Sh(x)={y:(y−x)T(y−x)≤h2}Sh(x)={y:(y−x)T(y−x)≤h2}， kk表示在这 nn个样本点中有 kk个落入球 ShSh中。

直观上来看，这kk个样本点在xx处的偏移向量即为：对落入ShSh区域中的kk个样本点相对于点xx的偏移向量求和然后取平均值；

几何解释为：如果样本点 xixi服从一个概率密度函数为 f(x)f(x)的分布，由于非零的概率密度函数的梯度指向概率密度增加最大的方向，因此从平均上来说， ShSh区域内的样本点更多的落在沿着概率密度梯度的方向。因此，Mean Shift向量 Mh(x)Mh(x)应该指向概率密度梯度的方向。

Mean Shift算法：指一个迭代的步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束。原点是选定的初始迭代点，将蓝色圆(其半径记为h)内所有向量相加，相加的结果如黄色向量所示，其终点指向上图所示的红色点，则下一次迭代以该红色点为圆心，h为半径画圆，然后求这个圆内以圆心为起点所有向量的和。如此迭代下去，圆的中心点为收敛于一个固定的点，也就是概率密度最大的地方。

graph affinities，的几个方面及计算：

Color Cue：

Boundary Cue：

Combining Color & Boundary Cues：

本文提出了Full Affinity Model：

本文使用半监督学习，可以在稀疏图中学习标记和未标记数据之间的全局相关性得分。本文首先设计了一个有多个层的稀疏连通图，以有效地组合局部 grouping cues。然后，我们通过半监督学习来定义所有对这些图节点之间的相关性分数。

本文也提出了多层次图的结构，这些图所对应的权重：

本文提出两个向量去计算图的相似度得分：

其损失函数为：

则 Multi-Layer Spectral Segmentation可以定义为：

优化算法为：