Attentional Feature Fusion阅读笔记

WACV 2021
Yimian Dai, Fabian Gieseke, Stefan Oehmcke, Yiquan Wu, Kobus Barnard
论文地址

一、简介

现有注意力存在三个缺点：1）有限的使用场景，SKNet和ResNeSt只关注同一层的特征选择，而跨层融合未得到有效解决，面临着如何集成不同尺度特征的问题。2）简单的初始集成，为了将得到的特征提供给注意模块，SKNet通过相加来进行特征融合，而这些特征在规模和语义上存在很大的不一致性。3）偏向上下文聚合尺度，SKNet和ResNeSt通过全局通道注意力生成聚合权重，这对于分布更全球化的信息是首选，但是，图像中的对象在大小上可能有极大的变化。在许多研究中强调，预测者的感受野应该与对象尺度范围相匹配。而仅仅在全局范围内聚合上下文信息过于偏颇，削弱了小对象的特征。

基于上述观察，我们提出了注意特征融合模块（AFF），为各种特征融合场景提供统一的方法，并解决上下文聚合和初始继承的问题。

为了缓解尺度变化和小物体带来的问题，我们提出了多尺度通道注意模块（MS-CAM）。尺度并不是空间注意所独有的问题，通过改变空间集合的大小，通道注意也可以有全局以外的尺度。MS-CAM可以同时枪带哦分布更全局的大对象和更局部分布的小对象。

二、方法

2.1 重新审视SENet

通道注意力将每个大小为H×W的特征映射压缩成一个标量。这种极端粗略的描述更倾向于强调全局分布的大对象，并且可能擦除小对象中存在的大部分图像信号。这往往忽视了小对象，因此，全局通道关注可能不是最佳选择。多尺度特征上下文应该聚集在注意力模块的内部，以缓解尺度变化和小对象带来的问题。

2.2 聚合全局和局部上下文信息

通过改变空间集合的大小，可以在多个尺度上实现通道注意力。使用逐点（1×1）卷积。

2.3 注意特征融合

a为注意特征融合模块，其中虚线是1-（soft），这使得网络能够在X和Y之间进行soft选择或者加权平均。

注意特征模块存在如何在最初集成输入特征。最为注意力模块的输入，初始融合质量对最终融合权值有很大影响，我们使用另一个注意力模块来融合输入特征，如图b所示，其被称为迭代注意特征融合模块。

三、实验

将网络中的加或者拼接用AFF模块代替。

上图为实验设置。

b表示块数。

上图为不同的融合方式的实验结果。