CV领域常用的注意力机制模块（SE、CBAM）

最新推荐文章于 2025-02-13 14:30:50 发布

学学没完

最新推荐文章于 2025-02-13 14:30:50 发布

阅读量4.9w

点赞数 77

分类专栏：深度学习文章标签：深度学习计算机视觉注意力机制神经网络

本文链接：https://blog.csdn.net/weixin_42907473/article/details/106525668

版权

一、SE模块（Squeeze-and-Excitation）

更详细内容推荐博客：最后一届ImageNet冠军模型：SENet
SENet网络的创新点：在于关注channel之间的关系，希望模型可以自动学习到不同channel特征的重要程度。
在这里插入图片描述

1、SE结构能说一说么？

一个SEblock的过程分为 Squeeze(压缩) 和 Excitation(激发) 两个步骤：
Squeeze(压缩) 通过在Feature Map层上执行Global Average Pooling，得到当前Feature Map的全局压缩特征量；
Excitation(激发) 通过两层全连接的bottleneck结构得到Feature Map中每个通道的权值，并将加权后的Feature Map作为下一层网络的输入。

2、SE结构的应用

在这里插入图片描述

3、SE的代码实现

SE模块实现的 Pytorch版:

class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y)