论文笔记38：SA-Net: Shuffle Attention for Deep Convolutional Neural Networks(考虑引进论文)

参考

GCNet: Non-local networks meet squeeze-excitation networks and beyond
CBAM: convolutional block attention module
ECA-Net: Efficient channel attention for deep convolutional neural networks
SGE: Spatial group-wise enhance: Improving semantic feature learning in convolutional networks
Shufflenet: An extremely efficient convolutional neural network for mobile devices
Shufflenet V2: practical guidelines for efficient CNN architecture design
DANet: Dual attention network for scene segmentation
SENet: Squeeze-and-excitation networks

方法

Feature Grouping：将X沿着通道维数分组，$X=\left[X_1,\cdots ,X_G\right],X_k\in {\mathbb{R}}^{C/G\times H\times W}$，然后，我们通过注意力模块为每个子特征生成相应的重要系数。具体来说，在每个注意单元的开始，$X_k$的输入沿着通道维度被分成两个分支$X_{k1},X_{k2}\in {\mathbb{R}}^{C/2G\times H\times W}$，一个分支用于通过利用通道的相互关系来产生通道注意力映射，而另一个分支用于通过利用特征的相互空间关系来产生空间注意力映射，使得模型可以关注“什么”和“哪里”是有意义的。

Channel Attention：首先通过简单地使用全局平均池化(GAP)来嵌入全局信息，以生成通道方式的统计信息$s\in {\mathbb{R}}^{C/2G\times 1\times 1}$，即$$s={\mathcal{F}}_{gp}\left(X_{k1}\right)=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W{X}_{k1}(i,j)$$

此外，还创建了一个紧凑的特征，以便为精确和自适应的选择提供指导。这是通过sigmoid激活的简单门控机制实现的。然后，可以通过以下方式获得通道注意的最终输出$$X_{k1}^{\prime }=\sigma \left({\mathcal{F}}_c(s)\right)\cdot X_{k1}=\sigma \left(W_{1}s+b_1\right)\cdot X_{k1}$$

其中$W_1\in {\mathbb{R}}^{C/2G\times 1\times 1}$和$b_1\in {\mathbb{R}}^{C/2G\times 1\times 1}$为用于缩放和移动s的参数。

Spatial Attention：空间注意力侧重于“何处”这一信息性部分，是对通道注意力的补充。首先，我们使用$X_{k2}$上的群归一化(Group normalization)来获得空间方式统计。然后，采用${\mathcal{F}}_c()$来增强$X_{k2}$的表示。空间注意力的最终输出通过以下方式获得$$X_{k2}^{\prime }=\sigma \left(W_2\cdot GN\left(X_{k2}\right)+b_2\right)\cdot X_{k2}$$

其中$W_1\in {\mathbb{R}}^{C/2G\times 1\times 1}$和$b_1\in {\mathbb{R}}^{C/2G\times 1\times 1}$.

然后将两个分支连接起来，使通道数与输入的相同，$X_k^{\prime }=\left[X_{k1}^{\prime },X_{k2}^{\prime }\right]\in {\mathbb{R}}^{C/G\times H\times W}$.

Aggregation：之后，所有子特征被聚集。最后，与ShuffleNet v2类似，我们采用了一个“通道shuffle”操作符，使跨组信息流能够沿着通道维度流动，来进行不同子特征之间的信息交流。SA模块的最终输出与X相同大小，使得SA相当容易与现代架构集成。单个SA模块中，每个分支的通道数为C/2G，因此总参数是3C/G(G通常是32或64)。

可视化与解释见图4和5.

实验

输入图像：224×224，G=64，权重衰减1e-4，动量0.9，小批量(mini-batch)大小256，100个epochs，从初始学习速率0.1开始，每30个epochs减少10倍。对于验证集的测试，首先将输入图像的短边调整到256，并使用224×224的中心裁剪进行评估。

分类：表1

消融：表2

目标检测：表3

实例分割：表4

未来，我们将进一步探索SA的空间和通道注意力模块，并将其应用到更多CNN架构中，包括ShuffleNet family，SKNet和MobileNet V3.

代码测试