【论文笔记】对CBAM的简单理解

CBAM模型结构

CBAM是一种mixed attention机制模块，是结合了空间（spatial）和通道（channel）的注意力机制模块。相比于仅关注一方面的attention机制模块，CBAM能两方兼顾，获得更好的效果。

根据论文给出的模型以及实验所获得的数据，我们可以看出CBAM模型中，先通过channel，再通过spatial，会获得更好的准确率和更低的错误率。

Channel Attention模块

在通道注意力模块中，通过将输入的特征图分别经过最大池化以及平均池化，然后输入到共享全连接层（shared MLP）中。再将共享全连接层输出的特种进行寄语elementwise的加和操作，经过sigmoid激活，最终即可获得通道注意力模块的特征图。

通道注意力机制（Channel Attention Module）是将特征图在空间维度上进行压缩，得到一个一维矢量后再进行操作。通道注意力关注的是这张图上哪些内容是有重要作用的。平均值池化对特征图上的每一个像素点都有反馈；而最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈。

Spatial Attention模块

在空间注意力模块中，是将通道注意力模块输出的特征图作为输入。首先做一个基于channel的最大池化和平均池化，然后将两层进行concat操作。然后进行卷积，降为1个channel，再经sigmoid获得空间注意力模块输出的特征图。

空间注意力机制（Spatial Attention Module）是对通道进行压缩，在通道维度分别进行了平均值池化和最大值池化。最大池化的操作就是在通道上提取最大值，提取的次数是H × W；平均池化的操作就是在通道上提取平均值，提取的次数也是是H × W；从而可以获得一个2通道的特征图。