CVPR 2021 即插即用！ CA：新注意力机制，助力分类 检测 分割涨点！

最后的话

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

资料预览

给大家整理的视频资料：

给大家整理的电子书资料：

如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

。为了更加清晰的描述CA注意力，这里先对SE block进行讨论。

3.1 Revisit SE Block

在结构上，SE block可分解为Squeeze和Excitation 2步，分别用于全局信息嵌入和通道关系的自适应Re-weight。

Squeeze

在输入

的条件下，第

通道的squeeze步长可表示为:

式中，

是与第

通道相关的输出。

输入

来自一个固定核大小的卷积层，因此可以看作是局部描述符的集合。Sqeeze操作使模型收集全局信息成为可能。

Excitation

Excitation的目的是完全捕获通道之间的依赖，它可以被表述为：

其中

为通道乘法，

为

激活函数，

为变换函数生成的结果，公式如下:

这里，

和

是2个线性变换，可以通过学习来捕捉每个通道的重要性。

为什么SE Block不好？

SE Block虽然近2年来被广泛使用；然而，它只考虑通过建模通道关系来重新衡量每个通道的重要性，而忽略了位置信息，但是位置信息对于生成空间选择性attention maps是很重要的。因此作者引入了一种新的注意块，它不仅仅考虑了通道间的关系还考虑了特征空间的位置信息。

3.2 Coordinate Attention Block

Coordinate Attention通过精确的位置信息对通道关系和长期依赖性进行编码，具体操作分为Coordinate信息嵌入和Coordinate Attention生成2个步骤。

3.2.1 Coordinate信息嵌入

全局池化方法通常用于通道注意编码空间信息的全局编码，但由于它将全局空间信息压缩到通道描述符中，导致难以保存位置信息。为了促使注意力模块能够捕捉具有精确位置信息的远程空间交互，本文按照以下公式分解了全局池化，转化为一对一维特征编码操作：

具体来说，给定输入

，首先使用尺寸为(H,1)或(1,W)的pooling kernel分别沿着水平坐标和垂直坐标对每个通道进行编码。因此，高度为

的第

通道的输出可以表示为:

同样，宽度为

的第

通道的输出可以写成:

上述2种变换分别沿两个空间方向聚合特征，得到一对方向感知的特征图。这与在通道注意力方法中产生单一的特征向量的SE Block非常不同。这2种转换也允许注意力模块捕捉到沿着一个空间方向的长期依赖关系，并保存沿着另一个空间方向的精确位置信息，这有助于网络更准确地定位感兴趣的目标。

3.2.2 Coordinate Attention生成

通过3.2.1所述，本文方法可以通过上述的变换可以很好的获得全局感受野并编码精确的位置信息。为了利用由此产生的表征，作者提出了第2个转换，称为Coordinate Attention生成。这里作者的设计主要参考了以下3个标准：

• 首先，对于Mobile环境中的应用来说，新的转换应该尽可能地简单；
• 其次，它可以充分利用捕获到的位置信息，使感兴趣的区域能够被准确地捕获；
• 最后，它还应该能够有效地捕捉通道间的关系。

通过信息嵌入中的变换后，该部分将上面的变换进行concatenate操作，然后使用

卷积变换函数

对其进行变换操作：

式中

为沿空间维数的concatenate操作，

为非线性激活函数，

为对空间信息在水平方向和垂直方向进行编码的中间特征映射。这里，

是用来控制SE block大小的缩减率。然后沿着空间维数将

分解为2个单独的张量

和

。利用另外2个

卷积变换

和

分别将

和

变换为具有相同通道数的张量到输入

，得到:

这里

是sigmoid激活函数。为了降低模型的复杂性和计算开销，这里通常使用适当的缩减比

(如32)来减少

的通道数。然后对输出

和

进行扩展，分别作为attention weights。

最后，Coordinate Attention Block的输出

可以写成:

3.2.3 CA Block的PyTorch实现

import torch
from torch import nn


class CA_Block(nn.Module):
    def __init__(self, channel, h, w, reduction=16):
        super(CA_Block, self).__init__()

        self.h = h
        self.w = w

        self.avg_pool_x = nn.AdaptiveAvgPool2d((h, 1))
        self.avg_pool_y = nn.AdaptiveAvgPool2d((1, w))

        self.conv_1x1 = nn.Conv2d(in_channels=channel, out_channels=channel//reduction, kernel_size=1, stride=1, bias=False)

        self.relu = nn.ReLU()
        self.bn = nn.BatchNorm2d(channel//reduction)

        self.F_h = nn.Conv2d(in_channels=channel//reduction, out_channels=channel, kernel_size=1, stride=1, bias=False)
        self.F_w = nn.Conv2d(in_channels=channel//reduction, out_channels=channel, kernel_size=1, stride=1, bias=False)


**先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里**

**深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/090f20997206d5547020cfd8bfc1b9af.png)
![img](https://img-blog.csdnimg.cn/img_convert/fdd761484ce80ba6e8940c6ef1de66b7.png)
![img](https://img-blog.csdnimg.cn/img_convert/360f882c96f1efaa00b290cc34b29c05.png)
![img](https://img-blog.csdnimg.cn/img_convert/8b42c24f1426f09866d79d60d0ee1c13.png)
![img](https://img-blog.csdnimg.cn/img_convert/a7a8f3a93ea0127279186cccc9035923.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618635766)**

d(in_channels=channel//reduction, out_channels=channel, kernel_size=1, stride=1, bias=False)


**先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前在阿里**

**深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
[外链图片转存中...(img-N241HFMw-1715711967509)]
[外链图片转存中...(img-opBiRvI7-1715711967509)]
[外链图片转存中...(img-KlyScnce-1715711967510)]
[外链图片转存中...(img-wrmeibLs-1715711967510)]
[外链图片转存中...(img-1hVGtnHU-1715711967510)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/topics/618635766)**