# 为我所用之SENet

最新推荐文章于 2024-05-13 19:11:51 发布

无人不智能，机器不学习

最新推荐文章于 2024-05-13 19:11:51 发布

阅读量1.4k

点赞数 3

分类专栏： pyTorch 算法文章标签： pytorch 神经网络深度学习

本文链接：https://blog.csdn.net/qidailiming1994/article/details/106296328

版权

本文介绍了SENet（Squeeze-and-Excitation Networks），一种用于深度学习的网络结构，尤其适用于图像分类和目标检测任务。SENet通过学习通道间的相关性，实现了注意力机制的增强。将SE模块添加到ResNet、ResNeXt和BN-Inception等分类网络后，性能可提升0.5-1.5%，在MobileNet和ShuffleNet等轻量网络上提升更明显，达到1.5-2%。在目标检测中，使用SE-ResNet50作为backbone的Faster R-CNN提升了2点的AP。实验表明，平均池化优于最大池化，Sigmoid激活函数优于ReLU和Tanh，SE模块作用于所有阶段效果最佳，且置于残差单元前部更优。

摘要由CSDN通过智能技术生成

为我所用之SENet

1. SENet是Squeeze-and-Excitation Networks的简称，拿到了ImageNet2017分类比赛冠军，其效果得到了认可，其提出的SE模块思想简单，易于实现，并且很容易可以加载到现有的网络模型框架中。SENet主要是学习了channel之间的相关性，筛选出了针对通道的注意力，稍微增加了一点计算量，但是效果比较好。

class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_a

最低0.47元/天解锁文章

无人不智能，机器不学习

关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
# 为我所用之SENet

为我所用之SENet1. SENet是Squeeze-and-Excitation Networks的简称，拿到了ImageNet2017分类比赛冠军，其效果得到了认可，其提出的SE模块思想简单，易于实现，并且很容易可以加载到现有的网络模型框架中。SENet主要是学习了channel之间的相关性，筛选出了针对通道的注意力，稍微增加了一点计算量，但是效果比较好。class SELayer(nn.Module): def __init__(self, channel, reduction=16):
复制链接

扫一扫

专栏目录