显著性目标检测（综述）

《Salient Object Detection: A Survey》

url:https://arxiv.org/abs/1411.5878

笔记思路：

1.显著性检测的用途：根据显著性特征（空间域、频域等

），快速有效地提取场景中有用的区域（目标区域等）进行进一步分析（显著性目标检测），如object proposal generation, generic scene segmentation, saliency for fixation prediction.

2.显著性检测的过程：1）检测明显物体；2）分割该物体准确区域。

3.显著性检测的评价指标：1）良好的检测：丢失真实的显着区域并错误地将背景标记为显着区域的可能性要小；2）高分辨率：显着图应具有高分辨率或全分辨率，以准确地定位显着对象并保留原始图像信息；3）计算效率：作为其他复杂过程的前端，这些模型应快速检测出显着区域

回归本文目的：显着物体检测模型通常旨在仅检测场景中最显着的物体，并分割这些物体，另一方面，是对人类注意点的预测。这两种方法，共同的地方是输出一个显著图，图中数值越高，受关注程度越高。

趋势：基于手工特征-》CNN提取特征

---

第一波显著性模型：

基于中心周围机制的自下而上注意的心理学理论

L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE TPAMI, no. 11, pp. 1254–1259, 1998.

---

第二波：

显著性检测问题定义为二值分割问题。

T. Liu, J. Sun, N. Zheng, X. Tang, and H.-Y. Shum, “Learning to detect a salient object,” in CVPR, 2007, pp. 1–8.

T. Liu, Z. Yuan, J. Sun, J. Wang, N. Zheng, X. Tang, and H.-Y. Shum, “Learning to detect a salient object,” IEEE TPAMI,vol. 33, no. 2, pp. 353–367, 2011.

R. Achanta, F. Estrada, P. Wils, and S. S ¨ usstrunk, “Salient region detection and segmentation,” in Comp. Vis. Sys., 2008.

---

第三波：

基于卷积神经网络

J. Long, E. Shelhamer, and T. Darrell, “Fully convolutionalnetworks for semantic segmentation,” in CVPR, 2015, pp.3431–3440.

---

1.显著性目标检测模型

1) block-based models with intrinsic cues,

逐像素中心环绕对比度

缺点：高对比度的边缘通常会突出而不是突出物体、突出物体的边界无法很好地保留

2) region-based models with intrinsic cues

加入先验条件，颜色先验区域、中心先验等，多种先验条件融合，使其能适应更复杂的环境

低秩为背景，可用PCA提取分量占比大的认为是背景。

利用区域对比突出显著性

3)models with extrinsic cues (both block- and region-based).

外在提示可以从训练图像，相似图像，视频序列，一组包含公共显着物体的输入图像，深度图或光场图像的标注信息中得出。

相似的图像可以很好地逼近背景区域，而显着区域可能无法很好地近似。

4）Other Classic Models

用边框信息来定位或分割显著目标。

显著目标转化为是否存在显著目标的二值分类问题。

s =wTf

有监督式vs无监督式

5）深度学习模型

CNN-based -MLPs with two layers

FCN-based 全卷积网络考虑像素级别的操作来克服由全连接层所引起的问题，例如在显着对象边界附近的模糊性和不准确的预测。

FCN-based 利用深层信息和浅层信息（语义信息和细节信息）

倾向于FCN-based模型

应用

对象检测和识别[181]-[187]，图像和视频压缩[188]，[189]，视频摘要[190]-[192]，照片拼贴/媒体重新定位/裁剪/缩略图钉钉[ 175]，[193]，[194]，图像质量评估[195]-[197]，图像分割[198]-[201]，基于内容的图像检索和图像收集浏览[178]，[202]-[ 204]，图像编辑和操作[41]，[176]，[179]，[180]，视觉跟踪[205]-[211]，对象发现[212]，[213]和人机交互[214] ]，[215]。

3.数据集

3.1with bounding boxes annotation

MSRA-A and MSRA-B

3.2with pixel-wise binary masks

ASD [37] and DUT-OMRON [97]

4.评价指标

显著图的二值化：有以下2种：

1.

2.GrabCut-like algorith

5种常用指标

1）Precision-recall (PR).

2）F-measure

3） Receiver operating characteristics (ROC) curve

4）Arear under ROC curve (AUC).

5）Mean absolute error (MAE).

5.讨论

5.1 启发式vs数据驱动式

5.2 人工特征vsCNN特征

5.3 CNN-based 模型：监督性模型、encoder-decoder模型

6.未来方向

1.  Beyond Working with Single Images. 在多图像中应用
2. Instance-Level Salient Object Detection. 示例水平的显著性目标检测
3. Versatile Network Architectures.多功能网络架构
4. 开放性问题：一个场景中需要展示多少显著性目标、平滑的显著图是否会影响分数和模型排名、显着物体检测与其他领域有何不同、解决模型评估中的中心偏差的最佳方法是什么、模型表现和人类之间的还有多少差距。。。
5. 开放性问题：一个场景中需要展示多少显著性目标？显著图的平滑是否影响分数和分级？。。。

(Some remaining questions include:

1.how many (salient) objects are necessary to represent a scene?

2.does map smoothing affect the scores and model ranking?

3.how is salient object detection different from other fields?

4. what is the best way to tackle the center bias in model evaluation?

5. what is the remaining gap between models and humans?)

Don’t ask what segments can do for you, ask what you can do for the segments.

— Jitendra Malik.