CBAM 论文笔记

CBAM: Convolutional Block Attention Module

CBAM ECCV 2018

论文链接: https://arxiv.org/abs/1807.06521

一、 Problem Statement

SE block只关注于channel-wise attention，但是忽略了spatial-wise attetion。作者融合了这两个，提升SE Module的性能。

二、 Direction

通过Convolutional Block Attention Module提升模型的表征能力。作者从两个维度出发:

1. channel attention module
2. spatial attention module

第一个学习"what" to attend， 第二个学习"where" to attend。

三、 Method

先来看一下整体的流程:

可以看到模块分为两个部分:

• Channel Attention Module
• Spatial Attention Module

假设我们有一个feature map $F\in {\mathbb{R}}^{C\times H\times W}$作为输入，CBAM会首先会根据这个输入，通过Channel Attention Module生成一个1D channel attention map $M_c\in {\mathbb{R}}^{C\times 1\times 1}$，然后这个channel attention map会与原始输入进行element-wise multiplication。
$$F^{\prime }=M_c(F)\otimes F$$
第二部，得到$F^{\prime }$输出后，將其输入到后续的Spatial Attention Module，生成一个2D的spatial attention map, 维度为$M_s\in {\mathbb{R}}^{1\times H\times W}$

$$F^{\prime \prime }=M_s(F^{\prime })\otimes F^{\prime }$$

具体两个模块的内容如下:

1. Channel Attention Module

Channel attention module探索的是特征中inter-channel的关系。channel attention关注的是给定一个输入图片，“what” is meaningful。具体操作如下所示:

1. Squeeze the spatial dimension。
2. 同时使用average-pooling 和 maxpooling，生成$F_{avg}^c$ 和 $F_{max}^c$ 描述子。
3. 將两个描述子输入到一个shared network(MLP)。
4. 通过element-wise summation进行融合，产生channel attention map $M_c\in {\mathbb{R}}^{C\times 1\times 1}$。

公式演示为:
$$\begin{array}{rl}{M}_c(F)& =\sigma (MLP(AvgPool(F))+MLP(MaxPool(F)))\\ & =\sigma (W_1(W_0(F_{avg}^c))+W_1(W_0(F_{max}^c)))\end{array}$$

2. Spatial Attention Module

下面来看一下Spatial Attention Module。这个模块关注的是: “where” is an informative part。具体流程如下图所示:

1. 输入上面的输出$F^{\prime }$， 使用两个pooling操作，产生两个2D特征图:$F_{avg}^s\in {\mathbb{R}}^{1\times H\times W},F_{max}^s\in {\mathbb{R}}^{1\times H\times W}$。
2. 拼接上面两个2D 特征图后，进行标准卷积操作，产生一个2D spatial attention map。

公式演示如下:
$$\begin{array}{rl}{M}_s(F)& =\sigma (f^{7\times 7}([AvgPool(F);MaxPool(F)]))\\ & =\sigma (f^{7\times 7}([F_{avg}^s;F_{max}^s]))\end{array}$$

3. Arrangement of attention modules

上面两个模块如何放置，作者进行了实验。实验表明，channel-first order 和串联排列是最优的选择。

四、 Conclusion

SE模块只关注了inter-channel的关系，而CABM模块关注了inter-channel和inter-spatial的关系。如果CABMchannel attention module仅仅使用average pooling就和SE block一样了。通过实验，证明了CABM提升了网络表征能力。可以简单高效地嵌入到ResNet，MobileNet等网络中。

Reference