BAM: Bottleneck Attention Module算法笔记

论文地址
姊妹篇
BAM: Bottleneck Attention Module
这是CBAM的姊妹篇，原班人马打造，不得不服
摘要：在这项工作中，我们把重心放在了Attention对于一般深度神经网络的影响上，我们提出了一个简单但是有效的Attention 模型—BAM，它可以结合到任何前向传播卷积神经网络中，我们的模型通过两个分离的路径 channel和spatial, 得到一个Attention Map，实验验证了我们算法的有效性。
整体结构图如下：

这里作者将BAM放在了Resnet网络中每个stage之间。有趣的是，通过可视化我们可以看到多层BAMs形成了一个分层的注意力机制，这有点像人类的感知机制。BAM在每个stage之间消除了像背景语义特征这样的低层次特征，然后逐渐聚焦于高级的语义–明确的目标（比如图中的单身狗）。

主要思想：
channel attention branch
对于给定的feature map F$\in$$R^{C\ast H\ast W}$,BAM可以得到一个3D的Attention map M(F)$\in$ R C ∗ H ∗ W R^{C*H*W} R