显著性目标检测论文总结---EGNet

EGNet总结

EGNet: Edge Guidance Network for Salient Object Detection ICCV2019

用于显著性目标检测的边缘指导网络

1、论文主要研究内容

第一步，本文采用渐进式融合的方法提取出显著的目标特征。
第二步，将局部边缘信息和全局位置信息相结合，得到显著的边缘特征。
第三步，为了充分利用这些互补特征，本文将相同的显著边缘特征与不同分辨率下的显著目标特征相结合。
进而本文提出一个EGNet来显式地模拟网络中互补的显著对象信息和显著的边缘信息，以保持显著目标的边界。同时，显著的边缘特征也有助于定位。
本文的模型联合优化了这两个互补的任务，允许它们相互帮助，从而显著的改善了预测显著性图。

2、EGNet网络结构

此框架中：
1、此结构保留了VGG-16的5个卷积块，最后的三个全连接层被丢弃。
2、由于VGG-16中，Conv2-2保留了更好的边缘信息，所以利用S2提取边缘特征。
3、根据DSS（决策支持系统），此框架将另一条边路径连接到VGG中的最后一个池化层。

2.1 模型原理

首先，VGG-16的主干网络用来进行特征提取，根据DSS（决策支持系统），本文将另一条边路径连接到VGG中的最后一个池化层。
从主干网中，本文得到了六个边特征，因为Conv1-2离输入太近，感受野太小，舍弃。
因为Conv2-2保留了更好的边缘信息，本文利用S（2）来提取边缘特征，而其他边路径则用来提取显著性目标特征。然后将各个边特征输入到PSFEM（渐进式显著目标提取模块）中，采用自顶向下的传播方式进行显著性目标特征的提取。接着将四个单通道预测映射和经过NLSEM（非局部显著边缘特征提取模块）处理的边缘特征同时输入O2OGM（一对一指导模块）中，进行FF（特征融合），将各个融合后的特征经过卷积层进行特征增强，最后将多尺度的细化特征进行特征融合，输出显著性的预测结果。

2.2 渐进式显著目标特征提取模块（PSFEM）

PSFEM模块原理：
将VGG16的顶层边路特征输入到PSFEM模块中。首先，为了获得更稳健的显著性目标特征，将每个边路径经过三个卷积层，并在每个卷积层后面添加了ReLU激活函数层以保证非线性。接下来，本文采用一个卷积层将特征映射转换为单通道预测映射，最终输出四个显著目标特征提取映射图。

2.3 非局部显著边缘特征提取模块（NLSEM）

NLSEM模块原理：
Conv2-2保留了更好的边缘信息。因此，本文从Conv2-2中提取局部边缘信息。然而，要获得显著的边缘特征，仅仅依靠局部信息是不够的。还需要高级语义信息或位置信息。
本文采用了一种自顶向下的位置传播，将顶层位置信息传播到侧路径S（2）以抑制不显著的边缘，然后进行特征的融合，获得引导特征。在引导特征后面，本文添加了一系列的卷积层来增强引导特征。在此基础上，本文增加了一个额外的显著边缘来监督显著边缘特征。

2.4 一对一指导模块（O2OGM）

O2OGM模块原理：
在获得互补的显著边缘特征和显著目标特征后，利用显著边缘特征来引导显著目标特征，以更好地进行分割和定位。
本文的目标是融合显著目标特征和显著边缘特征，利用互补信息获得更好的预测结果。
具体步骤为，本文为S（3）、S（4）、S（5）、S（6）添加子边路径。在每一个子边路径中，通过将显著的边缘特征融合为增强的显著目标特征，使得高层预测的定位更加准确。然后在每个子边路径上采用一系列卷积层T来进一步增强s特征，使用过渡层D将多通道特征映射转换为一个单通道预测图。

本文还为这些增强的特征添加了深度监视。对于每一个子图，可以计算出输出损失。然后对多尺度细化预测图进行融合，得到融合后的预测图。

3、实验结果分析

实验结果：可视化展示

结果表明：
该方法在显著目标分割和定位方面有较好的效果。由于显著的边缘特征，本文的结果不仅可以突出显著性的区域，也可以产生一致的边缘。
针对第一个样本：由于复杂场景的影响，其他方法不能准确地定位和分割出显著的目标。然而，受益于互补的显著边缘特征，本文的方法表现得更好。
针对第二个样本：其中显著性目标是相对较小的，本文的结果仍然非常接近标注值。

4、消融分析

边缘策略分析的三种方法：
第一种：结合显著边缘特征和显著目标特征Fˆ（3）得到预测掩码。我们把这种使用边的策略称作为edge_PROG。
第二种：利用自顶向下的位置传播对来自顶层而不是侧面路径S（3）中提取更准确的位置信息。我们称之为edge_TDLP。
第三种：把NLDF使用的IOU损失加到基线上。这种策略称为edge+NLDF。

互补融合特征的三种方法：
第一种方法：是默认方法，它集成了显著边缘特征（FE）和显著目标特征Fˆ（3），Fˆ（3）位于U-Net体系结构的顶部。
第二种方法：是逐步融合多分辨率特征Fˆ（3）、Fˆ（4）、Fˆ（5）、Fˆ（6），称为MRF-PROG。
第三种方式：是一对一指导，即MRF-OTO。这里MRF表示多分辨率融合。

5、结论

本文的目标是保持显著性目标的边界。与其它融合多尺度特征或利用后处理的方法不同，本文着重研究了显著边缘信息和显著目标信息之间的互补性。
基于这一思想，本文提出了EGNet来对网络中的这些互补特征进行建模。
（1）基于U-Net提取多分辨率的显著目标特征。
（2）提出了一种非局部显著边缘特征提取模块，该模块将局部边缘信息和全局位置信息相结合，得到显著边缘特征。
（3）本文采用一对一的指导模块来融合这些互补的特性。

在显著边缘特征的帮助下，改进了显著目标的边界和定位。在六个广泛使用的数据集上，本文的模型在没有任何预处理或后处理的情况下，与最先进的方法相比表现良好。

综上所述：这篇2019年在ICCV上发表的显著性检测论文： EGNet: Edge Guidance Network for Salient Object Detection 是一篇很值得研究的论文，其网络结构具有很强的推广性，希望此总结能够帮助大家更好的理解这篇文章！