Pyramid Feature Attention Network for Saliency detection 论文阅读

Pyramid Feature Attention Network for Saliency detection

用于显著性检测的金字塔特征注意力网络

摘要：显著性目标检测为计算机视觉一大挑战，然后如何提取高效特征？最近的一些方法采用不加区别的集成多尺度卷积特征，然而并非所有特征都对显著性检测有效，一些特征也会引起干扰。为了解决上述问题 提出显著性金字塔网络模型聚焦于高效的高级语义和低级空间结构特征。首先设计用于提取高层特征获取丰富的上下文信息的CPFE，然后采用通道注意力模块在CPFE后使用，使用空间注意力机制用于低层次的特征图。并融合所得特征，最终提出一种边缘保留损失函数指导网络学习更多边缘信息。

 

引文

首先介绍FCN通过堆叠卷积层特征并池化逐渐增加感受野，其在显著性检测方面起了重要的作用，然而在池化的过程中，特征图尺寸的减少损害显著性目标的边缘信息。

为了解决上述问题，手工特征 超像素，手工特征和CNN的高层次特征是互补的，但是很难高效的融合，进一步说手工特征较为耗时。

 

深层的特征包含全局上下文感知信息，有助于定位显著性目标区域

浅层的特征包含空间结构信息，有助于定位目标的边缘。

 

然而这些方法融合的特征中，并未细致考虑不同的贡献。对于显著性目标检测并最优。解决上述问题，引入注意力模型和门函数，然后这些方法忽略高低层次不同的特征差异性，影响有效信息的提取。

 

 

提出PFA（pyramid feature attention）金字塔特征注意力模块，考虑到不同层次的特征的差异性，显著性特征图从低水平特征中包含大量噪声，高层次特征只包括大致区域，。 因此受到SIFT算法的启发，设计了具有信息感知的模块获取多尺度多接受野范围的CPFE模块 获取多尺度多范围接受野的高层特征。因此使用CA 通道注意力机制 选择合适的尺度和接受野生成目标区域。如图F所示 在训练过程中，CA赋予较大的权重在选择通道时候。为了细化目标边缘融合了低层特征的边缘信息。 并不是所有边缘信息都有效 需要是显著性目标和背景的边缘。因此使用空间注意了机制 强调低层次特征的边缘信息 图1- d。

在不同注意力机制的作用下，低层信息和高层信息能够有效的互补，另外提出边缘保留损失函数学习更加细致的边缘定位。

 

贡献：设计了金字塔特征注意力网络

设计了边缘保留损失函数

提出的模型 优异的表现

 

相关工作

显著性目标检测

注意力机制

 

3 金字塔特征注意力网络

上下文感知的金字塔特征提取

视觉信息对于显著性检测很重要，如今的CNN方法通过堆叠卷积层和池化层，然而显著性目标检测在尺度、形状和位置上有很大的变化。以前的方法通常直接使用自下而上的卷积和池化层，这可能不能有效地处理这些复杂的变化。受到SIFT启发，SIFT的设计是一种模块抽取尺度、形状、位置不变的特征 描述局部特征。该算法提出了高斯表示的拉普拉斯算法[23]，融合了尺度空间表示和金字塔多分辨率表示。不同高斯核函数在相同分辨率下处理的尺度空间表示以及由不同分辨率下采样处理的金字塔多分辨率表示。与SIFT中的高斯函数相似，我们利用atrous卷积得到相同尺度但不同接受域的特征。与SIFT中的金字塔多分辨率表示类似，我们采用VGG-16的conv3-3、conv4-3和conv5-3[27]提取多尺度特征。

具体来说，上下文感知的金字塔特征提取模块如图b所示，我们将VGG-16中的conv 3-3、conv 4-3和conv 5-3作为基本的高级特征。为了使最终提取的高级特征包含尺度和形状不变性的特征，我们采用了不同膨胀率的atrous卷积，膨胀率设为3。5和7捕捉多接受域上下文信息。然后，我们将来自不同的空洞卷积lavers的特征映射和一个1x1维的特征通过跨通道连接。在此之后，我们得到三个具有上下文感知信息的不同尺度特征，我们将两个较小的特征上采样到最大的特征。最后，我们通过跨通道连接将它们组合起来作为上下文感知金字塔特征提取模块的输出。

 

3.2 注意力机制

尺度特征不区分，导致信息冗余。更重要的是，不准确的在某些层次的特征信息会导致性能下降，甚至错误的预测。过滤这些特性并对有价值的特性强调是很重要的。在这个小节。我们将讨论PFA网络中的注意机制。根据不同层次特征的特点，对高级特征采用通道注意，对低级特征采用空间注意，选择有效特征。此外，我们不对高级特征使用空间注意，因为高级特征包含了高度抽象的语义[16 45]，不需要对空间信息进行过滤。然而，我们不会对低层次的特征使用基于渠道的注意，因为在不同渠道的低层次特征之间几乎没有语义上的区别。

 

通道注意力机制

cnn中不同的特征通道对不同的语义[16]产生响应。FigI从高级特征得到的显著性图只是一个粗略的结果，一些重要的区域可能被削弱。在上下文感知金字塔特征提取后，我们在加权多尺度多接受的基础上增加了基于通道的注意(CA) 16 3模块。场高级特性。CA将分配更大的权重给对显著目标表现出高响应的信道

 

 

空间注意力机制

自然图像通常包含丰富的前景细节和复杂的背景。从图I可以看出，来自底层特征的显著性图包含了大量的细节，容易导致不好的结果。在显著性检测中，我们希望在不存在其他会分散人类注意力的纹理的情况下，获得显著目标与背景之间的详细边界。因此，我们采用空间关注，而不是同等地考虑所有空间位置，更多地关注前景区域，这有助于生成有效的特征用于显著性预测。