SENet（Squeeze-and-Excitation Networks）算法笔记

最新推荐文章于 2025-02-27 20:59:15 发布
最新推荐文章于 2025-02-27 20:59:15 发布
阅读量8.2w 收藏 531
点赞数 111
分类专栏： 深度学习 计算机视觉 文章标签： 算法 深度学习与计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014380165/article/details/78006626
版权
SENet是一种用于深度学习的卷积神经网络结构，通过引入Squeeze-and-Excitation模块来学习特征的权重，提高模型对特征的选择性。在ImageNet数据集上，SENet显著降低了top-5错误率，且可以灵活地嵌入到其他网络结构中。SE模块由全局平均池化和两个全连接层组成，用于捕捉通道间信息并调整特征图的权重，实现端到端训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文：Squeeze-and-Excitation Networks
论文链接：https://arxiv.org/abs/1709.01507
代码地址：https://github.com/hujie-frank/SENet
PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch

Sequeeze-and-Excitation(SE) block并不是一个完整的网络结构，而是一个子结构，可以嵌到其他分类或检测模型中，作者采用SENet block和ResNeXt结合在ILSVRC 2017的分类项目中拿到第一，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。
作者在文中将SENet block插入到现有的多种分类网络中，都取得了不错的效果。SENet的核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。当然，SE block嵌在原有的一些分类网络中不可避免地增加了一些参数和计算量，但是在效果面前还是可以接受的。

也许通过给某一层特征配备权重的想法很多人都有，那为什么只有SENet成功了？个人认为主要原因在于权重具体怎么训练得到。就像有些是直接根据feature map的数值分布来判断；有些可能也利用了loss来指导权重的训练，不过全局信息该怎么获取和利用也是因人而异。

Figure1表示一个SE block。主要包含Squeeze和Excitation两部分，接下来结合公式来讲解Figure1。

这里写图片描述

首先Ftr这一步是转换操作（严格讲并不属于SENet，而是属于原网络，可以看后面SENet和Inception及ResNet网络的结合），在文中就是一个标准的卷积操作而已，输入输出的定义如下表示。

这里写图片描述

那么这个Ftr的公式就是下面的公式1（卷积操作，vc表示第c个卷积核，xs表示第

最低0.47元/天 解锁文章
SENet（Squeeze-and-Excitation Networks）网络详解
西湖有大葱的专栏
04-23 10万+
论文：《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch一、SEN...
【注意力机制】SENet（Squeeze-and-Excitation Networks）详解
热门推荐
Roaddd的博客
12-18 1万+
论文：《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 概述        在深度学习领域，CNN分类网络的发展对其他计算机视觉任务如目标检测和语义分割
SE注意力机制详解：从原理到应用，全面解析Squeeze-and-Excitation模块
weixin_52603404的博客
02-27 1944
SE模块通过简单而有效的通道注意力机制，为CNN赋予了动态特征选择能力。多维注意力融合：结合空间、通道、时间维度。自适应压缩比：动态调整 rr 提升效率。跨模态扩展：应用于多模态任务（如图文检索）。
Squeeze-and-Excitation Networks
chenaxin的博客
04-07 1万+
摘要 卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。在这项工作中，我们专注于通道，并提出了一种新颖的架构单元，我们称之为“Squeeze-and-Excitation”（SE）块，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，我们证明了我们可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，我们发现SE块以微小的计算成本
Squeeze-and-Excitation Networks SE-net
jiachen0212的博客
06-01 1078
ImageNet 2017夺冠架构：SENet   paper传送门参考链接：传送门1               传送门2核心思想我认为是：不再使用传统的对输入通道经卷积后的结果通道们，进行简单的叠加，而是去寻找各通道间的相关性，给予各通道不同的权值，然后再进行加权求和。这个通道间的权值，通过学习得到。上图：  S:首先是压缩，squeeze（）把一个通道的map（尺寸为 mxn ）压缩成一个数...
Squeeze-and-Excitation Networks(挤压和激励网络)
TJMtaotao的博客，高校计算机教师
05-31 1万+
Squeeze-and-Excitation Networks ie Hu[0000−0002−5150−1003] Li Shen[0000−0002−2283−4976] Samuel Albanie[0000−0001−9736−5134] Gang Sun[0000−0001−6913−6799] Enhua Wu[0000−0002−2174−1428] Abstract 卷积神经网络（CNNs）的核心构造块是卷积算子，它使网络能够通过融合各层局部感受野中的空间和信道信息来构造信息特征。.
Squeeze-and-Excitation Networks.zip
02-02
Squeeze-and-Excitation Networks（简称SENet）是一种深度卷积神经网络架构，该网络通过引入一种新的机制来增强特征表达能力。SENet的核心思想是“注意力机制”，即网络能够动态地重标定通道的重要性，使得模型更...
SE注意力模块学习笔记《Squeeze-and-Excitation Networks》
985小菜鸡
03-26 3135
卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表示能力，最近的几种方法显示了增强空间编码的好处。作者专注于通道关系，并提出了一种新的架构单元，称之为“挤压-激励”(SE)块，该单元通过明确建模通道之间的相互依赖性自适应地重新校准通道级别(channel-wise )的特征响应。作者证明，通过将这些块堆叠在一起所构建的 SENet 架构，在具有挑战性的数据集上泛化得非常好。
轻量级网络：Squeeze-and-Excitation Networks
qq_38156104的博客
07-30 1258
Squeeze-and-Excitation Networks（SENet）是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军，top5的错误率达到了2.251%，比2016年的第一名还要低25%，可谓提升巨大。 Squeeze-and-Excitation(SE) block并不是一个完整的网络结构，而是一个子结构，可以嵌到其他分类或检测模型中 SENet的核心思想在..
【翻译笔记】Squeeze-and-Excitation Networks
Kaleidoscope的博客
04-27 4093
卷积神经网络（CNN）的核心模块是卷积块，它使网络能够融合每层局部感受野内的空间和通道信息构建信息特征。 大量的先前研究已经研究了这种关系的空间结构，试图通过在整个特征层次上提高空间编码的质量来增强CNN的表示能力。 在这项工作中，我们将重点放在通道关系上，并提出一个新颖的体系结构单元，我们称之为“挤压和激励”（SE）块，该模块通过显式建模通道之间的相互依赖性来自适应地重新校准通道方式的特征响应。 我们展示了模块堆叠在一起以形成的SENet架构，该架构可以非常有效地概括不同数据集。
注意力机制——Squeeze-and-Excitation Networks（SENet）
weixin_50752408的博客
03-16 3310
2.Excitation操作：根据Squeeze操作得到的通道重要性系数，对每个通道的特征图进行加权，即通过一个全连接层对重要性系数进行学习，得到一个权重向量，然后将该向量应用到原始的特征图上。1.Squeeze操作：将每个通道的特征图压缩成一个数值，即全局平均池化（global average pooling），可以理解为对每个通道进行特征提取，得到该通道的重要性系数。是一种通道注意力模型，通过对每个通道进行权重调整，增强对于重要通道的关注度，从而提高了模型的表现力。表示输入特征图的通道数，
SENet：Squeeze-and-Excitation Networks
just
01-12 603
CNN的核心是卷积运算，它使网络能够通过融合每一层局部视野内的空间信息和通道信息来构建信息特征。前人很多关注空间信息的工作；本文关注通道关系，提出了一种新的架构，称为SE Block(Squeeze-and-Excitation block)，通过显式建模通道之间的相互依赖性，自适应地重新校准通道特征响应；本文展示了这些SE block可以堆叠在一起，形成SENet架构，在不同的数据集上非常有效。CNN研究空间关系的工作背景；本文，研究了另一个方面：通道关系，引入SE block；
【论文阅读笔记】Squeeze-and-Excitation Networks
时光机 °的博客
02-18 682
全文概括    SE-NET 是2017年ImageNet分类竞赛的冠军，其提出一种新型的（卷积）结构模式，也可以用于改善其他模型的结构以提高精确度。SE-NET 将研究重点放于 channel 之间的关系上，提出的 SE block 可以对 channel 特征之间的相互关系进行精确地建模（一种 Attention 方式），以自适应地校准 channel-wise 的特征相应。 ...
SEnet——Squeeze-and-Excitation Networks
weixin_42729843的博客
10-12 981
ABSTRACT 卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间（spatial）信息和通道（channel-wise）信息来提取信息特征。在本文作者提出来了一种新的架构——“Squeeze-and-Excitation”（SE）块，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。将这些块堆叠在一起，可以构建SENet架构，在具有挑战性的数据集中可以进行泛...
SENet（Squeeze-and-Excitation Networks）
06-03 5667
注意力机制：硬注意力和软注意力。 硬注意力：是具体到某一数值，例如：分类中的概率最高的一项。硬注意力是不连续的，不可微，所以很难进行训练。 神经网络中一般注意力指的是软注意力机制：是指某一区间范围内的连续数值。那么，重点是软注意力是可微的，则我们可以利用神经网络的正向传播进行数值传递，并利用方向传播进行梯度更新，学习到较好的注意力权重。 就注意力关注的域来分： 空间域(spatial domain) 通道域(channel domain) 层域(layer domain) 混合域(mix.
Squeeze-and-Excitation Networks相关论文
最新发布
03-18
### Squeeze-and-Excitation Networks (SENet) 的实现细节与算法原理 #### 算法原理 Squeeze-and-Excitation Networks 是一种用于增强卷积神经网络性能的技术，其核心思想在于通过学习通道之间的关系来重新校准特征的重要性。具体来说，它通过对不同通道的特征进行全局池化操作（squeeze），然后基于这些统计信息生成权重向量（excitation），最后将这些权重应用于原始特征图上以突出重要特征并抑制不重要的部分[^4]。 以下是 SE 模块的主要组成部分及其作用： 1. **Squeeze**: 对于输入的特征图 \( X \in \mathbb{R}^{C \times H \times W} \)，其中 \( C \) 表示通道数，\( H \) 和 \( W \) 分别表示高度和宽度，SE 模块会对每个通道执行全局平均池化操作，得到一个描述全局空间分布的一维向量 \( z_c \in \mathbb{R}^C \)[^4]。 2. **Excitation**: 使用两个全连接层构建一个小规模的子网络，第一个全连接层会减少维度至 \( r \)-th 倍 (\( r \geq 1 \))，第二个全连接层恢复到原来的维度，并通过激活函数（如 ReLU 或 sigmoid）调整权重值范围。最终输出的是一个归一化的权重视图 \( s \in [0, 1]^C \)[^4]。 3. **Reweight**: 将上述计算所得的权重加权应用回原特征图上的每一个对应位置处，形成新的特征表达形式\[ Y_{ijc}=X_{ijc}\cdot s_c\][^4]。 这种机制允许模型自适应地关注更有意义的部分而忽略其他无关紧要的内容，从而提升整体表现效果。 #### 实现细节 下面展示了一个简单的 PyTorch 版本的 SEBlock 定义方式: ```python import torch.nn as nn import torch class SELayer(nn.Module): def __init__(self, channel, reduction=16): super(SELayer, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channel, channel // reduction, bias=False), nn.ReLU(inplace=True), nn.Linear(channel // reduction, channel, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() # 获取batch size以及channel数量 y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x) # Example usage within Residual Block or any other architecture component. ``` 此代码片段定义了一种标准型态下的 SE 层结构，可以嵌入到现有的 CNN 架构之中作为附加组件使用。 #### 论文下载链接 关于 SENet 更详细的理论阐述可参阅原文献《Squeeze-and-Excitation Networks》，该文章发表于 CVPR 2018 年会上。可以通过以下地址访问 PDF 文件版本： https://arxiv.org/abs/1709.01507 另外值得注意的是，在实际工程实践中也可以考虑直接调用预训练好的模型库比如 torchvision.models 中已经包含了支持 SE 结构的各种经典分类器变体供快速部署测试之需。
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值