最简单最易实现的SE模块（Squeeze-and-Excitation Networks）

最新推荐文章于 2024-10-08 10:39:11 发布

just-solo

最新推荐文章于 2024-10-08 10:39:11 发布

阅读量1.1w

点赞数 6

分类专栏：深度学习计算机视觉文章标签：深度学习神经网络人工智能 pytorch

本文链接：https://blog.csdn.net/justsolow/article/details/105376899

版权

深度学习同时被 2 个专栏收录

63 篇文章 4 订阅

订阅专栏

计算机视觉

57 篇文章 8 订阅

订阅专栏

最简单最易实现的SE模块

Squeeze-and-Excitation Networks

SENet是Squeeze-and-Excitation Networks的简称，拿到了ImageNet2017分类比赛冠军，其效果得到了认可，其提出的SE模块思想简单，易于实现，并且很容易可以加载到现有的网络模型框架中。SENet主要是学习了channel之间的相关性，筛选出了针对通道的注意力，稍微增加了一点计算量，但是效果比较好。
在这里插入图片描述
通过上图可以理解他的实现过程，通过对卷积的到的feature map进行处理，得到一个和通道数一样的一维向量作为每个通道的评价分数，然后将改分数分别施加到对应的通道上，得到其结果，就在原有的基础上只添加了一个模块，下边我们用pytorch实现这个很简单的模块。

在这里插入图片描述

class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)