Squeeze-and-Excitation Networks（SENet：GAP+2个FC）通道注意力模型公式解析

最新推荐文章于 2025-03-11 21:09:33 发布
最新推荐文章于 2025-03-11 21:09:33 发布
阅读量1.9k 收藏 2
点赞数 1
分类专栏： attention机制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44267559/article/details/112312039
版权
Squeeze-and-Excitation Networks（SENet）利用通道注意力机制提升网络表征能力。文章详细介绍了SE模块，包括Squeeze步骤的全局平均池化和Excitation步骤的全连接层操作，以及其在SE-Inception和SE-ResNet模块中的应用。实验结果显示，SENet能提高准确率且参数量影响不大。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Squeeze-and-Excitation Networks

代码

SE-Net代码

论文

SENet论文

SENet：通道注意力机制

SENet简易网络图
在这里插入图片描述
1.Squeeze：（全局信息嵌入）每个卷积核都与一个区域相关联，但是每个卷积核没有办法和该区域之外的信息（上下文信息）相关联。
简单的说，通过 z ∈ R C z\in R^C z∈RC全局平均池化收缩 U U U 的空间维度，如下式：
在这里插入图片描述
2.Excitation：（全捕获引导通道依赖）
在这里插入图片描述
简单来说就是两层全连接层，一层降维，一层升维。
该函数应该满足两个条件：一是灵活性（通道之间的非线性交互）；二是它能够学习一种不相互排斥的关系，目的是确保多个通道被强调（不是强制的独热向量激活）
在这里插入图片描述
W 1 ∈ R C r ∗ C W_1\in R^ { \frac{C}{r}*C} W1​

最低0.47元/天 解锁文章
【YOLOv10改进[注意力]】引入DA、FCA、SA、SC、SE + 含全部代码和详细修改方式
静谧、淡雅
11-19 324
引入DA、FCA、SA、SC、SE
【注意力机制】SENet（Squeeze-and-Excitation Networks）详解
Roaddd的博客
12-18 1万+
论文：《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 概述        在深度学习领域，CNN分类网络的发展对其他计算机视觉任务如目标检测和语义分割
通道域（channel）注意力机制——SENet
码匀的博客
08-06 1万+
Paper 之前没有见过这玩意，首先介绍一下通道注意力吧： 不同的通道捕捉的是不同的特征（也就是每个特征图都是有偏重特征的），通道注意力就是用来衡量这些通道重要性的。下面是SENet的一个块： 可能这幅图更清楚： 其对应的公式： SEblock 代码： class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.
通道注意力机制、空间注意力机制、混合注意力机制
最新发布
MagicFromMe的博客
03-11 1542
阅读了“Squeeze-and-Excitation Networks”这篇论文，但是懂了它的流程原理，但是不知道有什么用，先说说它的流程吧。
Channel Attention 通道注意力
家鸽的代码屋
10-21 3万+
通道注意力总结SE-Net:Squeeze-and-Excitation NetworksCBAM: Convolutional Block Attention ModuleECA-Net: Efficient Channel Attention for Deep Convolutional Neural NetworksEPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural NetworkFcaNet: F
SENET论文笔记注意力机制
qq_52038588的博客
12-05 1532
Squeeze-and-Excitation Networks 2019SE block，卷积注意力
注意力机制（数学公式）
New___dream的博客
12-25 766
分为三种注意力机制，空间注意力机制，通道注意力机制，以及两者的结合。V：value(值)计算机注意力机制是为了让卷积神经网络注意到他更加需要注意的地方 ，而不是什么都关注。人类视觉注意力机制极大地提高了视觉信息处理的效率与准确性。Q:query(查询)
SE注意力模块学习笔记《Squeeze-and-Excitation Networks》
985小菜鸡
03-26 3131
卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表示能力，最近的几种方法显示了增强空间编码的好处。作者专注于通道关系，并提出了一种新的架构单元，称之为“挤压-激励”(SE)块，该单元通过明确建模通道之间的相互依赖性自适应地重新校准通道级别(channel-wise )的特征响应。作者证明，通过将这些块堆叠在一起所构建的 SENet 架构，在具有挑战性的数据集上泛化得非常好。
SE net：Squeeze-and-Excitation Networks论文解读
Sesen的木屋
10-09 1675
近期对有关注意力机制的两篇文章进行了解读。分别是可以嵌入到很多网络结构中去的SE block的提出论文SENet，以及在GAN生成领域引入注意力机制的SAGAN。这两篇文章都是很经典的文章，这里将其详细整理一下。 SE Net：Squeeze-and-Excitation Networks (CVPR2018) 这篇文章的主要贡献是对通道间的依赖关系、各通道特征的权重进行了学习和分配。...
SE注意力机制详解
浩瀚之水的专栏
02-26 1515
SE模块通过显式地建模卷积特征通道之间的相互依赖性，来自适应地重新校准通道特征响应。它强调有用的特征并抑制不太有用的特征，从而提升网络性能。关注维度SE模块主要关注通道维度上的信息。CBAM模块则结合了通道和空间两个维度上的信息。实现复杂度SE模块的实现相对简单，计算成本较低。CBAM模块由于同时考虑了通道和空间信息，实现复杂度相对较高。应用场景SE模块适用于简单的特征提取任务。CBAM模块则更适用于各种复杂的视觉任务，能够提供更全面的特征增强。
通俗易懂理解通道注意力机制(CAM)与空间注意力机制(SAM)
IT菜鸟
02-01 7万+
通俗易懂理解通道注意力机制(CAM)与空间注意力机制(SAM)
attention注意力机制讲解ppt-组会分享
07-27
注意力机制是一种信息获取的通用机制，应用于从大量源数据中获取特定关键信息而避免对所有数据进行处理的场景。 注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 13万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
[ 注意力机制 ] 经典网络模型1——SENet 详解与复现
A_John 的博客
04-18 3万+
[ 注意力机制 ] 经典网络模型1——SENet 详解与复现 1、Squeeze-and-Excitation Networks 2、Squeeze-and-Excitation block 3、SENet 详解 4、SENet 复现 Squeeze-and-Excitation Networks 简称 SENet ，由 Momenta 和 牛津大学 的 胡杰等人 提出的一种新的网络结构； 目标是通过显式的建模 卷积特征通道 之间的 相互依赖关系 来提高网络的表示能力； 最后一届ImageNet比赛获得冠军
CV中的注意力机制(一)——SENet(通道注意力)
weixin_51321755的博客
01-29 4953
SENet 实现步骤 对输入进来的特征层进行全局平均池化。 然后进行两次全连接，第一次全连接神经元个数较少，第二次全连接神经元个数和输入特征层相同。 在完成两次全连接后，再取一次Sigmoid将值固定到0-1之间，此时获得了输入特征层每一个通道的权值（0-1之间）。 将获得的权值乘上原输入特征层即可。 流程图示 结合ResNet网络实战 左图为原始的residual模块，右图为加入SE的residual模块。 测试 uhhh，自己的本子是3070的，就不在ImageNet1k上做测试了，还是在Ima
经典神经网络论文超详细解读（七）——SENet（注意力机制）学习笔记（翻译＋精读＋代码复现）
路人贾的博客
01-05 3万+
SENet论文（《Squeeze-and-Excitation Networks》）超详细解读。翻译＋总结。文末有代码复现
【SENet 解读】通道注意力：Squeeze-and-Excitation Networks
不积跬步，无以至千里！
06-06 3628
通道注意力机制SENet
一文搞懂CBAM（通道+空间注意机制）
qq_996686006的博客
02-01 5343
attention机制论文阅读《CBAM : Convolutional Block Attention Module》 CBAM 先上网络图。简单说明一下，该结构由两个顺序子模块：通道模块和空间模块。特征图在每个深度网络的每个卷积块上自适应调整。 由上图所示，有输入、通道注意力模块、空间注意力模块和输出组成。输入特征F∈RC∗H∗WF\in R^{C*H*W}F∈RC∗H∗W，然后通道注意力模块一维卷积${M_c}R^{C11} $， ...
浙大 | FcaNet：频域通道注意力机制（keras实现）
u011447962的博客
07-31 5057
paper:http://arxiv.org/abs/2012.11879 code:https://github.com/dcdcvgroup/FcaNet 这篇论文，将GAP推广到一种更为一般的2维的离散余弦变换（DCT）形式，通过引入更多的frequency analysis重新考虑通道的注意力。 摘要 注意机制，特别是通道注意，在计算机视觉领域取得了巨大的成功。许多工作集中在如何设计有效的通道注意机制，而忽略了一个基本问题，即通道注意机制使用标量来表示通道，这由于大量信息损失而困难。在这项工
注意力机制senet
01-04
### SENet 中的注意力机制解释 SENet（Squeeze-and-Excitation Networks）引入了一种新颖的注意力机制，在通道维度上动态调整特征图的重要性。这种机制的核心思想是通过网络自动学习不同通道之间的关系，从而增强有用的特征并抑制无用的信息。 #### Squeeze 操作 在 SE 块中，首先是 **squeeze** 操作，它负责全局池化输入特征图的空间信息，得到每个通道的描述向量。这一步骤将空间尺寸压缩成单个数值，保留了通道间的相对重要性[^2]。 ```python import torch.nn as nn import torch class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) # Global Average Pooling (GAP) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) # Squeeze operation ``` #### Excitation 操作 接着是 **excitation** 部分，这里利用两个全连接层构建了一个小型的瓶颈结构来建模通道间的关系。第一个全连接层会显著减小通道数量至原来的 \( \frac{1}{r} \)，其中 r 是超参数用于控制降维程度；第二个全连接层再恢复到原始通道数目，最终经过激活函数生成权重系数[^4]。 ```python def __init__(self, channel, reduction=16): ... self.fc = nn.Sequential( nn.Linear(channel, channel // reduction, bias=False), nn.ReLU(inplace=True), # First FC layer with ReLU activation nn.Linear(channel // reduction, channel, bias=False), nn.Sigmoid() # Second FC layer followed by sigmoid to get weights between [0,1] ) def forward(self, x): ... y = self.fc(y) ``` #### Reweight 操作 最后一步是重新加权操作，即将上述获得的权重应用回初始特征图上。这一过程通过简单的逐元素相乘完成，使重要的特征被放大而次要的部分受到抑制，进而提升整个模型的表现性能。 ```python def forward(self, x): ... y = y.view(b, c, 1, 1) return x * y.expand_as(x) # Scale the input feature maps using learned attention coefficients ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值