SE-Net---在通道上分配attention的模块（论文阅读）

最新推荐文章于 2025-04-18 08:32:21 发布
最新推荐文章于 2025-04-18 08:32:21 发布
阅读量2.1k 收藏 15
点赞数 1
分类专栏： 注意力机制 文章标签： 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34923437/article/details/106126432
版权
SE-Net是一种通过通道注意力机制增强卷积特征的模块，适用于各种网络结构，如AlexNet、ResNet和InceptionNet。通过全局平均池化和瓶颈结构计算通道权重，有效提升性能。实验表明，SE-ResNet-50在ImageNet上的性能几乎与ResNet-101相当，但参数量仅为一半。超参数r的选择对性能和过拟合有影响，低层特征的注意力分布普遍，而高层特征更具有针对性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Squeeze excitation network 以下简称SE-Net

SE是一个在卷积特征图通道上分配Attention的模块，可嵌入到其他的的网络结构中。

SE模块图示：

下面说明如何计算attention，即分配给各通道权重值的计算方式。

Ftr：常规卷积操作

Fsq：squeeze操作，使用H x W大小的卷积核进行average pooling（也叫global average pooling），生成1 x 1 x C的向量

Fex：excitation操作。 公式表示的是两个FC构成的bottleneck结构，防止过拟合，提高泛化能力。如下图，detla表示relu函数，sigma是sigmoid。

补充说明：论文中z和s的维度是一样的。Bottleneck先降维再升维，假设降维的比例系数r，实验结果精度也与r的大小有关。相关内容在文末说明。

Fscale：下标c可理解为channel-wise，每张通道的

最低0.47元/天 解锁文章
【图像超分】论文精读：Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-20 1785
基于深度卷积的单幅图像超分辨率(SISR)网络包含了从大规模外部图像资源中学习局部恢复的好处，但现有的研究大多忽略了自然图像中的远程特征相似性。最近的一些工作通过探索非局部注意模块成功地利用了这种内在特征相关性。然而，目前的深度模型都没有研究图像的另一个固有属性：跨尺度特征相关性。在本文中，我们提出了第一个跨尺度非局部 (CS-NL) 注意力模块，并集成到循环神经网络中。通过将新的 CS-NL 先验与强大的循环融合单元中的局部和尺度内非局部先验相结合，我们可以在单个低分辨率 (LR) 图像中找到更多的跨尺度
SE-Net:Squeeze-and-Excitation Networks论文详解
weixin_47166887的博客
10-27 6690
注意力机制的文章之------通道注意力 SE-Net:Squeeze-and-Excitation Networks论文详解 论文链接：https://arxiv.org/pdf/1709.01507.pdf Github代码：https://github.com/hujie-frank/SENet 注意力机制最早用于自然语言处理(NLP),后来在计算机视觉(CV)也得到广泛的应用，之后注意力机制便被引入来进行视觉信息处理。注意力机制的核心思想就是能够从大量的信息中筛选出重要的信息。注意力机制可以分为通道
SE-Net网络详解
yyyyyyep的博客
08-05 2293
Squeeze excitation network 以下简称SE-NetSE是一个在卷积特征图通道上分配Attention的模块，可嵌入到其他的的网络结构中。
SE模块-通道注意力
最新发布
yinlingjishu的博客
04-18 265
两个FC组成一个可训练的函数，用来学习通道注意力。（所以FC激活函数不是线性的就行）进行的操作是 全局平均池化（global average pooling）两个FC构成了bottleneck结构：（SERatio是一个缩放参数）2、激励（Excitation）特征图被压缩为1×1×C向量。第一个FC把神经元数量减少了。1、压缩（Squeeze）
通道注意力机制(CA)
kuailezzf的博客
07-29 6083
通道注意力机制（Channel Attention, CA）是一种广泛应用于计算机视觉中的注意力机制。它主要用于提取图像特征中不同通道之间的相关性，以帮助网络更好地聚焦于重要的特征信息。在深度学习中，卷积神经网络（CNN）通常通过堆叠多个卷积层来提取图像的高级特征表示。然而，具体来说，通道注意力机制通过引入一个注意力模块来学习每个通道的权重，从而动态调整每个通道的重要性。如图1所示，通道注意力机制通过以下步骤实现：输入：假设输入特征图的尺寸为C×H×W，其中C是通道数，H和W分别是高度和宽度。
SE-Net要点
weixin_30439031的博客
03-06 403
关于SE-Net有些很奇妙的点： 1、首先，所谓的SE module加在了BN层后面，这样的话，SE首先应该是对于BN层输出的feature map求取global average pooling，一个样本的一个channel做一次pooling，注意这个地方的pooling输出值不是bn_weight * 0 + bn_bias，因为对于BN层而言，是在整个Batch里面对应chan...
[ResNet系] 007 SENet
weixin_34341229的博客
09-25 640
SENet Squeeze-and-Excitation NetworksJie Hu, Li Shen, Gang Sun 摘要 卷积神经网络顾名思义就是依赖卷积操作，使用局部感受区域（local receptive field）的思想融合空间信息和通道信息来提取包含信息的特征。有很多工作从增强空间维度编码的角度来提升网络的表示能力，本...
第J5周：DenseNet+SE-Net实战（pytorch版）
weixin_43414521的博客
10-14 867
论文：SE-Net是ImageNet 2017 (lmageNet 收官赛)的冠军模型，是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军，top5的错误率达到了2.251%，比2016年的第一名还要低25%，可谓提升巨大。模型具有复杂度低，参数少和计算量小的优点。且SENet 思路很简单，很容易扩展到已有网络结构如 Inception 和 ResNet 中。
【论文笔记】GCA-Net : Utilizing Gated Context Attention for Improving Image Forgery Localization and Detec
weixin_45366180的博客
02-06 2645
对被操纵像素的取证分析需要从图像中识别各种隐藏的和微妙的特征。传统的图像识别模型通常无法完成这一任务，因为它们偏向于并且更关注占主导地位的局部和空间特征。本文提出了一种新的门控上下文注意力网络（GCA-Net），它利用非局部注意力结合门控机制来捕获更精细的图像差异，从而更好地识别伪造区域。该框架在解码过程的各个阶段使用高维嵌入从粗糙特征映射中过滤和聚合相关上下文。这提高了网络对全局差异的理解，减少了假阳性的定位。
SE-attention
weixin_42142081的博客
03-08 2592
SE-attention ##一、SE-NET的 图1.SE-block 图一图中的Ftr是传统的卷积结构，X和U是Ftr的输入（C’xH’xW’）和输出（CxHxW），这些都是以往结构中已存在的。SENet增加的部分是U后的结构：对U先做一个Global Average Pooling（图中的Fsq(.)，作者称为Squeeze过程），输出的1x1xC数据再经过两级全连接（图中的Fex(.)，作者称为Excitation过程），最后用sigmoid（论文中的self-gating mechanism）限
SE-net
武凯的博客
10-13 101
总结的太经典
论文阅读SE_NET Squeeze-and-Excitation networks
jinyi763776890的博客
04-13 176
为了实现这一目标，该功能必须满足两个标准：第一，它必须操作灵活（尤其是它必须能够学习通道之间的非线性关系），第二，它必须学习非互斥关系，因为我们希望多个通道都能被加强（而不是类似one-hot那种仅加强了某一个通道特征）。如上图Frt的输入为X∈ℝH`× W`× C` ，输出为U∈ℝH× W× C，Frt是一个卷积操作，用V = [V1,v2,v3,,,,Vc]表示，Vc表示第C个卷积，输出用U = [U1,U2…，即具有降维率r的降维层，一个ReLU，然后是一个维度升高层，再转到输出特征图的通道维度。
SE-Net整理阅读
wuRDmemory
05-16 1万+
写在前面 最近算是好不容易抽时间把这两个论文看完了，总体来说收获还是很多的，以下是自己的一些理解和整理。 SE-Net SE-Net的整体思路 引入了注意力的思想，即对于每个通道，用一个权重来表示该通道在下一阶段的重要性； 做成了一个插入式的模块，十分方便与各个基础网络的结合。   Introduction部分 这段文章中作者总结了神经网络的有点，就是 ...
Squeeze-and-Excitation Networks SE-net
jiachen0212的博客
06-01 1081
ImageNet 2017夺冠架构：SENet   paper传送门参考链接：传送门1               传送门2核心思想我认为是：不再使用传统的对输入通道经卷积后的结果通道们，进行简单的叠加，而是去寻找各通道间的相关性，给予各通道不同的权值，然后再进行加权求和。这个通道间的权值，通过学习得到。上图：  S:首先是压缩，squeeze（）把一个通道的map（尺寸为 mxn ）压缩成一个数...
论文阅读1：通道注意力机制-SE模块/Squeeze-and-Excitation Networks
weixin_43479830的博客
03-15 5038
注意力机制之SE模块 Squeeze-and-Excitation Networks 注意力————一种将可用计算资源的分配偏向信号中信息量最大的分量的手段。注意力模块一般有两种：一种是空间注意力模块，一种是通道注意力模块，SE模块属于后者。 SE-block：通过该机制，网络可以学习使用全局信息来选择性地强调信息特征，并抑制不太有用的特征。 SE-block流程： 特征图U（H’W’C’）首先通过Squeeze操作传递，在空间维度上聚集特征图，产生11C的通道描述符。 之后是激励操作
【深度学习中的注意力机制7】11种主流注意力机制112个创新研究paper+代码——通道注意力（Channel Attention）
985小水博的摸鱼日常
10-23 1872
【深度学习中的注意力机制7】11种主流注意力机制112个创新研究paper+代码——通道注意力（Channel Attention）
【计算机视觉】详解 自注意力：Non-local 模块与 Self-attention (视觉注意力机制 (一))
闻韶
04-11 3万+
绪论 计算机视觉（computer vision）中，注意力机制（attention）的基本思想就是想让系统学会注意力 ——能够忽略无关信息而关注重点信息。 近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码(mask)来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形...
注意力机制（一）SE模块（Squeeze-and-Excitation Networks）论文总结和代码实现
热门推荐
qq_45981086的博客
05-26 7万+
SE模块（Squeeze-and-Excitation Networks）论文总结和代码实现
SE-Net结构详解(插眼)
瓜帝凹辣的博客
01-05 1080
解读Squeeze-and-Excitation Networks（SENet）
探索SE3-Transformer在PyTorch 0.2.6中的应用
Transformer是深度学习领域的一项重要技术，首次在2017年由Google的研究人员在论文《Attention is All You Need》中提出。Transformer模型采用自注意力（Self-Attention）机制处理序列数据，相比于传统的循环神经...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值