论文阅读笔记Saliency Detection with Recurrent Fully Convolutional Networks

 摘要

    深度网络已经被证明可以编码高级语义特征，并在显着性检测中提供卓越的性能。 在本文中，我们通过使用循环完全卷积网络（RFCN）开发新的显着性模型更进一步。此外，循环体系结构使我们的方法能够通过纠正其先前的错误自动学习优化显着性映射。 为了训练具有多个参数的这样的网络，我们提出了使用语义分割数据的预训练策略，其同时利用对分割任务的强有力的监督以进行更好的训练，并使网络能够捕获对象的通用表示以用于显著性检测。 通过广泛的实验评估，我们证明了所提出的方法优于最先进的方法，并且所提出的循环深度模型以及预训练方法可以显著提高性能。

1.简介

    显着性检测一般可分为两个子类别：显着对象分割[12,38,16]和眼部注意点检测[26,7]。 本文主要关注显著对象分割，旨在突出图像中最引人注目和吸引眼球的对象区域。 它已被用作预处理步骤，以促进广泛的视觉应用，并越来越受到该领域的关注。 尽管取得了很大进展，但开发能够处理现实世界不利情景的有效算法仍然是一项非常具有挑战性的任务。
    大多数现有方法通过手工制作的模型和启发式显着性先验来解决显着性检测问题。例如，对比度先验将显著性检测作为中心周围的对比度分析，并捕获突出的区域，这些区域要么以全局罕见为特征，要么在局部脱颖而出。

    另外，边界先验将边界区域视为背景，并通过将背景信息传播到其余图像区域来检测前景对象。虽然这些显著性先验已被证明在某些情况下是有效的（图1第一行），但它们不足以发现复杂场景中的显着物体（图1第二行）。此外，基于显着性先验的方法主要依赖于低级手工制作的特征，这些特征无法捕获对象的语义概念。如图1的第三行所示，在某些情况下，高级语义信息在区分前景对象与具有相似外观的背景中起着重要作用。
    最近，深度卷积神经网络（CNN）在许多视觉任务中实现了创纪录的性能，例如，图像分类[15,28]，目标检测[5,27]，目标跟踪[32,33]，语义分割[22,21]等。现有方法表明深层CNN也可以有利于显著性检测，并且非常有效。通过准确识别语义上突出的对象来处理复杂场景（图1第三行）。虽然已经实现了更好的性能，但是现有的基于CNN的显着性检测方法仍然存在三个主要问题。首先，大多数基于CNN的方法完全抛弃了在以前的工作中有效的显着性先验。其次，CNN仅考虑局部图像块的有限尺寸来预测像素的显着性标签。它们大多不能强制执行空间一致性，并且可能不可避免地做出不正确的预测。但是，对于前馈架构，CNN很难完善输出预测。最后，显着性检测主要被公式化为二元分类问题，即前景或背景。与具有数千个类别的图像分类任务相比，二进制标签的监督相对较弱，无法有效地训练具有大量参数的深度CNN。
    为了缓解上述问题，我们研究了用于显着性检测的循环全卷积网络（RFCN）。在每个时间步长中，我们通过RFCN向前馈送输入的RGB图像和显着性先验图，以获得预测显着图，该预测显着图又用作下一时间步中的显着性先前图。通过结合指示潜在显着区域的显着性先验来初始化第一时间步骤中的先验映射。我们的RFCN架构与现有的基于CNN的方法相比具有两个优势：a）利用显着性先验使训练深度模型更容易并且产生更准确的预测; b）与前馈网络相反，我们的RFCN网络的输出作为反馈信号提供，使得RFCN能够通过纠正其先前的错误来改进显着性预测，直到在最后时间步骤中产生最终预测。为了训练RFCN进行显着性检测，开发了一种新的预训练策略，该策略利用语义分割数据的丰富属性信息进行监督。图2演示了所提出的RFCN模型的架构概述。
    总之，这项工作的贡献是三份。 首先，我们提出了一种使用循环完全卷积网络的显着性检测方法，该方法能够改进先前的预测。 其次，将显着性先验纳入网络以促进训练和推理。 第三，我们使用语义分割数据设计用于显着性检测的RFCN预训练方法，以利用来自多个对象类别的强监督并捕获通用对象的内在表示。 所提出的显着性检测方法产生更准确的显着性图，并且在四个基准数据集上具有相当大的优势，优于最先进的方法。

2.相关工作

    现有的显着性检测方法可以主要分为两类，即手工制作的模型或基于学习的方法。大多数手工制作的方法可以追溯到特征整合理论[30]，其中选择重要的视觉特征并将其组合以模拟视觉注意力。后来，Itti等人。 [8]建议通过颜色，强度和方向特征的中心 - 环绕对比度来测量显着性。谢等人。 [34]在贝叶斯框架中制定显着性检测，并通过似然概率估计视觉显着性。在[3]中，通过考虑用于显着性测量的图像像素的外观相似性和空间分布来开发软图像抽象。同时，背景优先也被许多手工制作的模型[36,10,38,6]常用，其中基本