CVPR 2024 即插即用！ CA：新注意力机制，助力分类 检测 分割涨点！

。为了更加清晰的描述CA注意力，这里先对SE block进行讨论。

3.1 Revisit SE Block

在结构上，SE block可分解为Squeeze和Excitation 2步，分别用于全局信息嵌入和通道关系的自适应Re-weight。

Squeeze

在输入

的条件下，第

通道的squeeze步长可表示为:

式中，

是与第

通道相关的输出。

输入

来自一个固定核大小的卷积层，因此可以看作是局部描述符的集合。Sqeeze操作使模型收集全局信息成为可能。

Excitation

Excitation的目的是完全捕获通道之间的依赖，它可以被表述为：

其中

为通道乘法，

为

激活函数，

为变换函数生成的结果，公式如下:

这里，

和

是2个线性变换，可以通过学习来捕捉每个通道的重要性。

为什么SE Block不好？

SE Block虽然近2年来被广泛使用；然而，它只考虑通过建模通道关系来重新衡量每个通道的重要性，而忽略了位置信息，但是位置信息对于生成空间选择性attention maps是很重要的。因此作者引入了一种新的注意块，它不仅仅考虑了通道间的关系还考虑了特征空间的位置信息。

3