每天一篇论文 285/365 BAM: Bottleneck Attention Module

最新推荐文章于 2025-02-21 01:00:00 发布

原创最新推荐文章于 2025-02-21 01:00:00 发布 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

每天一篇论文365 专栏收录该内容

146 篇文章

订阅专栏

本文介绍了一种名为Bottleneck Attention Module (BAM)的有效注意模块，该模块能够与任何前馈卷积神经网络集成。通过在每个Bottleneck中加入channel和spatial attention，BAM构建层次关注并提升网络性能。实验结果表明，BAM能显著提高多种模型在分类和检测任务上的表现。

BAM: Bottleneck Attention Module

CBAM: Convolutional Block Attention Module

这是一篇与CBAM同一作者的论文，CBAM在bottleneck内部，通过maxpooling和avgPool在基本网路中加入Channel attention和spatial attention，而BAM在每个Bottleneck 中加入channel 和 spatial attention.从理论上来说这种light-weight attention模块结构简单效果很好。可以很好的和其他网络如resnet，mobilenet融合。

摘要

深度神经网络的最新进展已经通过架构研究开发出来，以获得更强的代表能力。在这项工作中，我们关注一般深度神经网络中注意力的影响。我们提出了一个简单的有效注意模块，名为 Bottleneck Attention Module 注意模块（BAM），可以与任何前馈卷积神经网络集成。我们的模块沿着两个独立的路径，即通道和空间推荐注意力图。我们将模块置于模型的每个Bottleneck中，其中发生特征映射的下采样。我们的模块通过多个参数在Bottleneck瓶颈上构建层次关注，并且可以与前馈模型一起以端到端的方式进行训练。我们通过对CIFAR-100，ImageNet-1K，VOC 2007和MS COCO基准的广泛实验来验证我们的BAM。我们的实验表明，各种模型在分类和检测性能方面均得到了一致的改进，证明了BAM的广泛适用性。