Pyramidal Feature Shrinking for Salient Object Detection阅读笔记

AAAI 2021
Mingcan Ma，Changqun Xia，Jia Li
论文地址

一、简介

现有方法通常对包含细节的低级特征和包含语义的高级特征进行大跨度聚合，这会给聚合特征引入噪声，并生成不准确的显著图。针对这一问题，我们提出了金字塔特征收缩网络（PFSNet），旨在通过逐层收缩的方式将相邻特征结点成对聚合，使聚合后的特征融合有效的细节和语义，并丢弃干扰信息。

提出了相邻融合模块（AFM）来实现相邻特征之间的相互空间增强，从而动态的加权特征并自适应的融合合适的信息。

提出了基于backbone网络特征提取的尺度感知丰富模块（SEM）来获取丰富的尺度信息，并利用膨胀卷积生成多样化的初始特征。

二、方法

2.1 Adjacent Fusion Module（AFM）

AFM模块主要有两大作用，一个是输出特征需要保留有有效的语义和细节信息，丢弃噪声信息，并且丢弃不适合的特征。另一个是输出特征与输入特征相同尺寸。由于所有特征的融合操作都是相邻特征，因此待融合的特征具有很大的相似性。

由于不同的特征具有不同的权重，经过卷积计算后，权重较小的元素很少被子特征继承。这样就达到了继承重要信息并且丢弃噪声的目的。

总的来说，AFM首先通过元素级相乘使两个输入特征更加关注公共元素，然后通过全局平均池化操作对所有特征进行加权，最后通过卷积操作调整通道数并得到最终结果。

2.2 Pyramidal Shrinking Decoder (PSD)

以往的许多方法的设计重点都是用不同的融合策略聚合细节特征和语义特征。但是它们大多数都是直接融合了大跨度特征。这会导致大量的噪声引入。我们提出了将相邻特征分层融合，利用相邻特征融合的优势，实现多层特征融合和跳跃式融合操作，这可以消除大量噪声。

AFM的加权选择效应，PSD可以选择性的放大或缩小从主干提取的特征的影响，从而获得多样化的特征表达。

2.3 Scale-aware Enrichment Module (SEM)

设计SEM使解码器能够获得更加丰富的初始特征信息。对于不同大小的图像，相同的扩展卷积得到不同的结果，不同卷积结果的叠加可以产生更加完整的特征表达。

三、实验