Salient Object Detection: A Discriminative Regional Feature Integration Approach （判别区域特征集成方法）

(推荐一个我自己做的普法公众号，大可说法律，有法律方面咨询的可以关注)

这篇文章是显著性检测在利用深度学习之前的一个高潮（利用分割来计算显著性）

摘要

显著目标检测一直是人们关注的热点，近年来各种启发式计算模型层出不穷。在本文中，我们将显著性映射计算视为一个回归问题。我们的方法是基于多层图像分割，使用监督学习方法将区域特征向量映射到显著性得分，最后融合多个层次的显著性得分，得到显著性地图。这种贡献是双重的。一是我们展示了我们的方法，将区域对比、区域属性和区域背景描述符结合在一起形成主显著性地图，能够生成优于现有算法的显著性地图，其中大多数算法是从不同类型的特征中启发式地计算出的显著性地图。另一种方法是引入一个新的区域特征向量——背景来描述背景，它可以看作是客观描述符[2]的对应物。对几个流行基准数据集的性能评估验证了我们的方法优于现有的技术水平。

引言

长期以来，视觉显著性一直是神经科学、心理学、神经系统和计算机视觉领域的一个基本问题。它最初是一项预测人眼对图像注视的任务，最近已扩展到识别包含突出对象的区域，这是本文的重点。显著目标检测的应用有很多，包括目标检测和识别，图像压缩，图像剪切，照片拼贴、主色检测等。
对人类视觉系统的研究表明，这种显著性与场景的以颜色、质地、形状等原始特征为的独特性、稀有性和奇异性有关。近年来，人们做了大量的工作来设计各种启发式算法来计算显著性。本文将显著性估计问题视为一个回归问题，并学习一个将区域特征向量直接映射到显著性得分的回归因子。我们的方法包括三个主要步骤。第一种是多级分割，将图像从精细级分解为粗级。其次，我们使用随机森林回归器进行区域显著性计算步骤，将区域特征映射到显著性得分。最后，通过融合多个层次的显著性映射计算显著性映射。
关键在于第二步，区域显著性计算。与大多数现有的算法计算显著地图不同，我们学习一个随机森林回归量，直接把每个区域的特征向量映射到一个显著性的分数，我们称之为区别性区域特征集合(DRFI)。这是图像分类的一种基本方法，但在凸点目标检测中却鲜有研究。结果表明，习得的回归者能够自动地选择有区别的特征，而不是为了突出而启发式地手工制作特殊特征。另一方面，我们还引入了一个新的描述符，称为背景，用来区分背景和对象，它可以被看作是对象描述符的对偶。

相关工作

下面回顾一下重要的目标检测(分割)与我们的方法相关的算法。从中可以找到显著目标检测的全面调查。对视觉注意建模的综述还包括了对显著目标检测的分析。大多数显著性检测算法的基础可以追溯到特征整合理论，该理论认为，不同的注意力负责将各种特征绑定到有意识体验的整体。随后，提出了一个基于生物合理架构的计算注意模型，并完全实现。它表示从颜色、强度和方向通道输入的图像，并计算三个显著性使用中心-环绕差异的地图，这些差异组合在一起形成最终的主显著性地图。近年来，人们做了大量的研究工作来设计表征突出物体或区域的各种显著特征。大多数作品基本上遵循中心-环绕的差异(或对比) 框架。判别中心-环绕假设进行了分析。颜色直方图，计算代表中心和环绕，用于评估中心-环绕不同的[31]。提出了一种基于特征统计[27]的中心-环绕散度计算方法。在此基础上，提出了基于中心-环绕差分的图像表征方法。在[23]中，一个区域的颜色直方图与其相邻区域的颜色直方图的差值被用来评估显著性评分。基于全局对比的方法[11]通过比较各区域的显著性图来直接计算全局唯一性。在区域对比的基础上，引入元素颜色唯一性和空间分布来评价区域[38]的显著性得分。显著性映射是通过将区域的显著性得分传播到像素来生成的。许多其他模型也被提出用于显著性计算。中心偏置，即突出的物体通常位于图像的中心，研究于[23,50]。研究了对象先验，如连接先验[45]、显著性上下文[34]、自动上下文提示[48]和背景先验[53]进行显著性计算。基于实例的方法，即搜索输入的相似图像，用于突出的目标检测[35,49]。提出了一种图形化的对象检测模型，将一般的对象性和视觉显著性融合在一起来检测对象[10]。提出了一种用于显著性目标检测的低秩矩阵恢复方案。
介绍了一种基于联合条件随机域和字典学习的自顶向下方法。利用立体视觉进行显著性分析。此外，采用频域谱分析方法对显著区域进行检测[1,20]。此外，有几个工作直接检查一个图像窗口是否包含一个对象。通过结合几个图像线索来量化窗口包含对象[2]的可能性，定义了通用的对象度量。摘要提出了一种基于超像素边界积分、边缘分布和窗口对称性来描述对象性质的类独立对象检测级联方法，并对候选对象窗口[39]进行了排序。组成[13]的突出对象检测检查窗口内的内容是否可以由相邻区域组成。采用随机森林回归方法，直接将目标矩形从显著性映射[50]中回归。
眼球注视预测是另一个视觉显著性研究方向，也引起了广泛的兴趣[7,24]。近年来的研究进展包括利用等中心曲率和颜色[44]，采用图像直方图[32]，基于四元数的光谱分析[40]，利用深度线索[30]，多任务稀疏性追踪[29]，统计建模[42]，探索斑块罕见性[6]，梳理自底向上和自顶向下特征[5]，任务特异性视觉注意[8]等。还有一些其他的显著性定义，例如上下文感知的显著性检测[18]的目标是检测图像的区域。
我们提出的方法与现有的算法有两点不同。在显著性特征方面，我们计算了一个对比向量，而不是现有算法中用于区域的对比值。特别是引入了一种新的特征向量来表征背景。我们的方法在学习策略上也是独一无二的。与现有的通过结合不同类型的特征计算的显著性映射来进行显著性集成的学习算法(如[2,10,31])相比，我们的方法学习直接集成特征向量来计算显著性映射。与此密切相关的[26]方法是一种基于像素的算法，它也学会了整合显著性特征，而我们的方法是基于区域的，可以执行多级估计，并可以捕获非局部对比度。此外，我们还引入了一个新的区域特征向量来描述背景。另一个[36]没有深入研究，只是简单地涉及了区别性特征的集成，只考虑了区域属性描述符。最近的研究方法33的目的是预测眼球注视，而我们的方法是突出的目标检测，而且我们通过引入和探索多层次的区域描述符来解决这个问题。在图像分类[14]中还研究了判别性特征融合，根据分类任务对特征的自适应权值进行学习，以更好地区分类别。我们的方法将三种类型的区域特征整合到一个判别策略中，进行多区域的显著性回归。

图像显著性计算

我们的方法包括三个主要步骤：多层次分割，图像分解为区域，区域特点计算映射的特性提取每个地区显著成绩，和多层次的特点融合相结合的卓越地图所有的水平分割得到最终的显著图。整个过程如图1所示。

• 多级别分割
• 区域显著性计算
• 多级区域显著性融合