阅读论文：Bottleneck Attention Module

从论文中可以了解到本模块可以与任何前馈卷积神经网络集成，它沿着通道和空间两条不同的路径推断出attention map。模块结构图如下：

1.结构       

首先对于输入的feature map（F）进行两次操作。一条路径是类似于SEnet的结构，先对F全局池化，得到一个的通道向量。然后在使用一个多层感知机（MLP），目的是为了从通道向量Fc估计跨通道的注意力，为了节省参数开销，将隐藏激活大小设置为RC/r×1×1，其中r是缩减率。最后加入批处理规范化层（BN）以调整空间分支输出的比例。通道注意力计算如下：

Fs

另一条路径是空间注意力Fs，采用扩张卷积（）来高效地扩大感受野。为了节省开销，采用resnet的瓶颈结构，将特征F∈使用1×1卷积将投影到降维以整合和压缩跨通道维度的特征映射。然后使用两个3×3的扩展卷积层来有效地利用上下文信息，最后，使用1×1卷积将特征再次缩减为 。最后加入批处理规范化层（BN），计算如下：

       两条路径然后合并，在合并它们之前将注意图扩展到RC×H×W，在各种组合方法中，如按元素求和、乘法或最大运算，选择按元素求和来实现高效梯度流。再使用sigmoid函数来获得最终的3D attention map。计算如下：

        最后就是计算最后模块的输出

 

 2.实验结果分析

两个分支均有效且合并更好。实验得出膨胀值为4时，性能已经饱和，16的还原率达到了最佳精度。性能优于SE，但参数比SE少得多，因为只将模块放置在瓶颈处，而不是每个conv块。