Deep Reasoning with Multi-scale Context for Salient Object Detection【论文阅读】

摘要：

为了精确检测显著性物体，大部分方法致力于设计复杂的网络结构去融合图像特征，而在显著性上仅仅使用全卷积网络进行推断。本文认为显著性推断单元的不足会限制了显著性检测的性能。为了验证此假设，我们首先利用全卷积网络提取多尺度特征，然后使用修改自Shuffle-Net的深度轻量级神经网络来快速精准地预测，简单的设计有优秀的检测效果的同时，使用更少的计算成本。在PASCAL-S，DUT-OMRON和SOD数据集上相比最好的方法取得了一定的提升。

论文题目：Deep Reasoning with Multi-scale Context for Salient Object Detection

作者：Zun Li1 , Congyan Lang1 , Yunpeng Chen2 , Jun Hao Liew2 , Jiashi Feng2

单位：1Beijing Jiaotong University, 2National University of Singapore

 

Introduction

图1 基于全卷积的显著性物体检测框架

基于FCN的显著性检测通常包含三个部分：主干网络（BackBone），特征融合，显著性推断。如上图所示，主干网络通常会产生一组空间分辨率更低的特征；特征融合旨在强化获取的多级特征，以获得具有独特性的对象信息和局部细节信息；检测器通过两个步骤预测显著性：一个是显著性推断(Saliency Reasoning)，使用少量的卷积层来提升多层级特征，另一个是一个1x1的卷积层，来区分显著性检测中的背景与前景。

为了更好的融合特征，目前的研究大部分在设计更复杂的特征融合网络结构，也取得了重大的进展，但这些特征融合的方法效果上的提升也趋近于饱和状态，这导致了显著性检测精度提升瓶颈的产生。为了获得精度的提升，我们一定要设计更复杂的特征融合网络吗？本文提供了另一种选择——提升显著性推断模块的性能

最近，也有一些提升推断能力的方法被提出，虽然这些方法被证明是有效的，但却很复杂，并且可能需要一些特殊的修改才能适用于显着性检测任务。本文采取一种直接的方法，构建一个更深更大的显著性推断模块，同时为了减少计算量并且保证复杂场景的显著性检测，我们提出了一个简单的网络，如下图所示。

图2 本文的显著性检测框架示例

如图，该网络结构首先对主干(BackBone)网络(ResNet,VGG)提取的多层级特征进行融合：使用FPN中的Upsampling(上采样)以及1x1卷积核的Concatenate(连接)进行特征融合。然后直接利用改自shuffleNet网络直接进行显著性推断，最后是常用的1x1的卷积层。

本文的主要贡献有三点：

1. 突出了显著性推断模块的重要性，为显著性检测指明了新的研究方向
2. 提出了常规但有效的显著性推断能力提升方案
3. 我们提出的网络在多数评估指标中极大地超过了竞争者

   ---

    

Methodology

本文旨在提高显著性推断模块的能力以题号显著性检测精度。首先我们介绍了一些有效的提高推断能力的方法，例如增加网络的深度以提高复杂任务时的推断性能，然后我们以实例框架来验证显著性推断模块的重要性。

Deep Saliency Reasoning

现有的显著性推断模块往往是使用一些规律的卷积层，这种浅层网络只能应对简单的推理任务，要想应对复杂的推理任务，一种直接的方式就是增加网络的深度和宽度，增加深度若只是使用3x3或1x1的卷积层毫无疑问会导致很高的计算量以及过拟合问题。

为了在有限的计算速度下追求最高的计算精度，轻量级网络变得越来越流行，深度轻量级网络在获得良好性能的同时有着更少的参数，也更适合复杂情况下的任务。分组卷积(,group convolution)以及深度卷积(depth-wise convolution)是广泛使用的技术，在显著降低计算量的同时保持高性能。

分组卷积：分组卷积最早在AlexNet中使用，输出和输出的张量(Tensor)延通道(channel)维度均等地分成几块，如此，不同组之间的连接被移除了，只有对应组之间的连接被保留了下来，这就降低了计算量以及模型的大小。

深度卷积：深度卷积可以看作特殊的分组卷积，其组数与通道(channels)数相等。换句话说，就是在输入的每个通道上独立地执行空间卷积。

假定输出/输出张量的通道数为C，传统卷积层复杂度为O(C^2)，分组卷积的复杂度为O(C^2/num-of-groups)，而深度卷积的复杂度为O(C)。因此采用这些稀疏卷积能帮助提升网络性能而不会引入计算限制。我们的推理网络也证明了这一点。

Framework Instantiation

我们采用深度卷积层来提升显著性推断模块的性能。我们构建了一个采用深度卷积层的深度网络SRNet，来进行精确显著性检测，总的网络框架如图2所示，该网络结构首先利用主干(BackBone)网络提取的多层级特征，主干网络为去除全连接层后的Resnet，VGG网络。然后，具有丰富语义的这些低分辨率特征通过自顶向下和横向连接的方式与高分辨率但语义上弱的特征融合
通路进行融合。在每个融合的相邻层，每个特征都与1×1的卷积核进行卷积并上采样到最高分辨率。然后直接利用改自ShuffleNet网络直接进行显著性推断，最后是常用的1x1的卷积层对灭一个像素进行显著性预测。

图2 本文的显著性检测框架示例

Experiment

Setup

Datasets

我们使用用ECSSD ，PASCAL-S ，DUTOMRON，HKU-IS ，SOD 和DUTS-test 。这些数据集分别由1000,850,5168,4447,300和5019张自然复杂图像以及手动标记像素的真图组成。

Evaluation Metrics

我们使用广泛采用的精准召回曲线(precision-recall (PR) curves)，max F-measure (Fβ-max)以及平均绝对误差(mean absolute error (MAE))

PR曲线

平均绝对误差

Performance Comparison

我们与最近的十五个模型进行比较MDF [16], LEGS [30], DCL [17], RFCN [32], DHS [21], DSS [10], NLDF [23], Amulet [42], SRM [33], RAS [1], DGRL [34], R3Net [6], BMPM [41], PAGR [44] and PicaNet [22].

实例化模型实现了比所有其他方法更好的PR曲线数据集，展示了我们的实例化模型在显着性检测方面的卓越性能。 从表1中，我们可以清楚地看到实例化模型可以显着在Fβ-max和MAE方面优于其他竞争对手得分，证明了显着性的有效性显着实现显着性检测。

Conclusion

在本文中，我们展示了多尺度卷积特征融合之后的显着性推理对于准确的显着对象检测至关重要。 为了验证我们的发现，
我们提出一个简单而通用且有效的解决方案使用一个修改自ShuffleNet的深度轻量级网络实现更强大的显着性推理性能。该实例化模型能够适合多尺度显着性，具有更少的计算成本，同时提供卓越的显着性准确性。 综合实验表明，简单实例化模型在各种评估指标上优于最先进的方法。

jj