#每天一篇论文246/365 CBAM:卷积块注意力模型

原文:CBAM: Convolutional Block Attention Module

本文提出了一种新的网络模块，称为卷积块注意模块。由于卷积操作通过将跨通道和空间信息混合在一起来提取信息特征，因此我们采用我们的模块来沿着这两个主要维度强调有意义的特征：通道轴和空间轴。为了实现这一点，我们依次应用信道和空间注意模块（如图1所示），以便每个分支可以分别在信道和空间轴上学习“什么”和“在哪里”要注意。因此，我们的模块通过学习要强调或抑制哪些信息，有效地帮助信息在网络中流动。

两种注意力模型

输入特征图，CBAM推断1D通道注意力图，和2D空间注意力图

通道注意力网络（what）

max pooling收集了另一个关于不同对象特征的重要线索来推断更精细的通道注意。同时使用平均池和最大池功能。我们的经验证明，利用这两个特性可以极大地提高网络的表示能力，而不是单独使用每一个特性，显示我们设计选择的有效性。

空间注意力网络（where）

利用特征间的空间关系生成空间注意图。与通道注意不同，空间注意的焦点集中在何处，这是对通道注意的补充。为了计算空间注意力，我们首先应用平均池和最大池操作沿着信道轴并连接它们以产生高效的特征描述符。沿着信道轴应用池化操作被证明在突出信息区域中是有效的。在连接的特征描述符上，在连接的特征描述子上，我们应用卷积层来产生空间注意图。

给定一个输入图像，两个注意模块，通道和空间，计算互补注意，分别关注“什么”和“哪里”。考虑到这一点，可以以并行或顺序方式放置两个模块。我们发现顺序排列比平行排列有更好的结果。对于时序过程的安排，实验结果表明，信道一阶比空间一阶稍好。

两个通道排列顺序

在这个实验中，比较了三种不同的通道和空间注意子模块的排列方式：顺序通道空间、顺序空间通道和两个注意模块的并行使用。由于每个模块都有不同的功能，因此顺序可能会影响整体性能。例如，从空间的角度来看，通道注意是全局性的，而空间注意是局部性的，我们自然认为可以结合两个注意输出来构建三维注意地图。在这种情况下，两个注意都可以并行应用，然后添加两个注意模块的输出并用sigmoid函数进行规范化。

实验效果可视化

待续