论文地址
姊妹篇
BAM: Bottleneck Attention Module
这是CBAM的姊妹篇,原班人马打造,不得不服
摘要:在这项工作中,我们把重心放在了Attention对于一般深度神经网络的影响上,我们提出了一个简单但是有效的Attention 模型—BAM,它可以结合到任何前向传播卷积神经网络中,我们的模型通过两个分离的路径 channel和spatial, 得到一个Attention Map,实验验证了我们算法的有效性。
整体结构图如下:
这里作者将BAM放在了Resnet网络中每个stage之间。有趣的是,通过可视化我们可以看到多层BAMs形成了一个分层的注意力机制,这有点像人类的感知机制。BAM在每个stage之间消除了像背景语义特征这样的低层次特征,然后逐渐聚焦于高级的语义–明确的目标(比如图中的单身狗)。
主要思想:
channel attention branch
对于给定的feature map F ∈ \in ∈ R C ∗ H ∗ W R^{C*H*W} RC∗H∗W,BAM可以得到一个3D的Attention map M(F) ∈ \in ∈ R C ∗ H ∗ W R^{C*H*W} R