Attentional Feature Fusion(注意特征融合)【即插即用】

Attentional Feature Fusion

Attentional Feature Fusion(注意特征融合)
代码地址：https://github.com/YimianDai/open-aff
WACV 2021

摘要

特征融合是将不同层或分支的特征结合在一起，是现代网络体系结构中无处不在的一部分。它通常通过简单的操作来实现，比如求和或连接，但这可能不是最好的选择。在这项工作中，我们提出了一个统一和通用的方案，即注意力特征融合，它适用于大多数常见的场景，包括由短跳连接和长跳连接引起的特征融合，以及盗梦层内的特征融合。为了更好地融合语义和尺度不一致的特征，我们提出了一个多尺度通道注意力模块，该模块解决了融合不同尺度特征时出现的问题。我们还证明了特征映射的初始集成可能成为瓶颈，并且可以通过添加另一个级别的注意力来缓解这个问题，我们将其称为迭代注意力特征融合。使用更少的层数或参数，我们的模型在CIFAR-100和ImageNet数据集上的表现都优于最先进的网络，这表明更复杂的特征融合注意机制与直接对应的机制相比，具有更大的潜力，可以持续产生更好的结果。我们的代码和训练过的模型都可以在网上找到。

框架

结论

我们将注意机制的概念概括为一种选择性的、动态的特征融合类型，适用于大多数场景，即同一层、短跳和长跳连接以及注意机制内部的信息集成。为了克服输入特征之间的语义和尺度不一致问题，我们提出了多尺度信道注意模块，该模块将局部信道上下文添加到全局信道统计中。此外，我们指出接收到的特征的初始整合是基于注意力的特征融合的瓶颈，可以通过增加另一个级别的注意力来缓解这一瓶颈，我们称之为迭代注意力特征融合。我们进行了详细的消融研究，以经验验证情境感知水平、特征整合类型和情境聚合尺度对我们提出的注意机制的个体影响。在CIFAR-100和ImageNet数据集上的实验结果表明，我们的模型在每个网络的层数或参数更少的情况下表现优于最先进的网络，这表明人们应该关注深度神经网络中的特征融合，更复杂的特征融合注意机制有可能持续产生更好的结果。