显著性检测：'Saliency Detection via Graph-Based Manifold Ranking'论文总结

对显著性检测的一些了解：

一般认为，良好的显著性检测模型应至少满足以下三个标准：

1）良好的检测：丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的；

2）高分辨率：显著图应该具有高分辨率或全分辨率以准确定位突出物体并保留原始图像信息；

3）计算效率：作为其他复杂过程的前端，这些模型应该快速检测显著区域。

最早在心里学和神经科学等多个学科上，就开始进行显著物体的检测。在计算机视觉领域，已经在人类关注机制的建模方面做出了努力，特别是自下而上的注意机制。 这种过程也称为视觉显著性检测。在检测显著性区域时通常分为自上而下和自下而上两种方法，在本文中主要运用自下而上的方法。

1）自上而下（top-down）：即从比较一般的规则开始，逐渐增加新文字以缩小规则覆盖范围，直到满足预定条件为止，也称为生成-测试（generate-then-test）法，是规则逐渐特化（specialization）的过程，是从一般到特殊的过程。

2）自下而上（bottom-up）：即从比较特殊的规则开始，逐渐删除文字以扩大覆盖范围，直到满足条件为止；也称为数据驱动（data-driven）法，是规则逐渐泛化（generalization）的过程，是从特殊到一般的过程。

自顶向下是覆盖范围从大到小搜索规则，自底向上则正好相反；前者更容易产生泛化性能较好的规则，而后者更适合于训练样本较少的情形；另外，前者对噪声的鲁棒性比后者要强；因此，在命题规则学习中通常使用前者，而后者则在一阶规则学习这类假设空间非常复杂的任务使用较多。

传统的显著性检测方法：

1. 模拟生物体视觉注意机制的选择性注意算法。

方法：特征提取->归一化->特征综合/显著度计算->显著性区域划分/兴趣点标定。

显著值是像素点在颜色、亮度、方向方面与周边背景的对比值。

L. Itti, C. Koch, & E. Niebur .A model of saliency based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259, 1998.

2. 模型是在Itti的模型基础之上运用马尔可夫随机场的特点构建二维图像的马尔可夫链，通过求其平衡分布而得到显著图。

算法步骤：

特征的提取：与Itti 算法类似 

显著图生成 ：马尔可夫链方法         将低层视觉机理与数学计算融合   

J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2006.

3. 基于空间频域分析的算法，显著图通过对剩余谱R(f)做傅里叶逆变换得到。

Xiaodi Hou, Jonathan Harel and Christof Koch: Image Signature: Highlighting Sparse Salient Regions (PAMI 2012)

4. 在Spectral Residual基础之上提出的，该方法通过计算图像的四元傅里叶变换的相位谱得到图像的时空显著性映射。

事实上，图像的相位谱即图像中的显著性目标。图像中的每一个像素点都用四元组表示：颜色，亮度和运动向量。 

PQFT模型独立于先验信息，不需要参数，计算高效，适合于实时显著性检测。

Chenlei Guo, Qi Ma, Liming Zhang: Spatio-temporal Saliency detection using phase spectrum of quaternion fourier transform. CVPR 2008 

5. 这篇文章中，他们提出应当同时考虑局部信息和全局信息，例如注意力应该集中在某些特定区域而不是分散，距离视觉焦点更近的点容易被观察到等等，效果拔群。

 S. Goferman, L. Zelnik-Manor, and A. Tal. Context-Aware Saliency Detection. CVPR 2010.

 Saliency Detection via Graph-Based Manifold Ranking通过基于图形的流型排序进行显著性检测

本文的目的：综合利用图像中背景、前景的先验位置分布及连通性，得到显著物体分割的更好结果。

采用的方法：通过基于图的流形排序对图像元素（像素或区域）与前景线索或背景先验的信息进行排序。图像元素的显著性是基于给定种子（queries）的相关性来定义的。通过流行排序的方法将此先验扩散到并增加得到前景的比较可靠的估计。这些节点基于背景和前景种子的相似性来排序（通过关联矩阵（affinity matrices））。随后将前景的信息用类似的流行排序的方法加强，显著性检测以两阶段方案进行，以有效地提取背景区域和前景显著对象。

算法流程： SLIC图像过分割；构建相对应的图；背景先验的流行排序算法；自适应分割；前景上的流形排序算法

我们观察到背景通常呈现与四个图像边界中的每一个的局部或全局外观连通性，并且前景呈现外观一致性。在这项工作中，我们利用这些线索来计算基于超像素排名的像素显著性。对于每个图像，我们构造一个闭环图，其中每个节点都是一个超像素。我们将显著性检测建模为流形排序问题，并提出了用于图形标记的两阶段方案。在第一阶段，我们通过使用图像每一侧的节点作为标记的背景种子点来开拓边界先验。从每个标记结果中，我们根据节点与这些种子点的相关性（即排名）计算节点的显著性作为背景标签。然后将四个标记的图集成以生成显著图。在第二阶段，我们将在第一阶段的结果显著映射进行二值分割，并将标记的前景节点作为显著种子点。基于每个节点与最终映射的前景种子点的相关性来计算每个节点的显著性。

 

 详细流程：

1. Graph Construction 图形构建

我们构造单层图G =（V，E），如图2所示，其中V是一组节点，E是一组无向边。在这项工作中，每个节点都是由SLIC算法生成的超像素。