Squeeze-and-Excitation Networks（SE-Net）论文阅读笔记

最新推荐文章于 2024-08-23 14:13:44 发布
最新推荐文章于 2024-08-23 14:13:44 发布
阅读量115 收藏
点赞数 1
文章标签： 论文阅读 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45935253/article/details/128451256
版权

ABSTRACT

卷积操作通过在每一层的局部感受野内融合空间信息与通道信息来构造信息特征【多通道卷积】，前面针对空间信息已有大量研究，本论文关注通道间关系，提出“挤压和激励”——SE块，显式地建模信道之间地相互依赖性。

Squeeze-and-Excitation Block

  • ​$F_{tr} $​映射输入​到特征图​中，比如：卷积操作

  • ​$F_{sq}$ 使得来自网络全局感受野的信息被它的每一层使用，结果:产生了聚集空间维度上特征图的描述符

squeeze operation To mitigate the problem【特征图上每个单元不能利用对应感受野外的上下文区域信息】

就是将全局空间信息压缩到通道描述符中，具体：全局平均池化（也可选更复杂聚合技术）生成通道统计信息。

  • ​$F_{ex}$ 接受嵌入作为输入，并且产生每个通道调制权重的集合

excitation operation 目的是：利用挤压操作聚集的信息，捕获通道相关性。

简单门控：直接sigmoid，复杂（为了提高通用性）：

  • output: ​

     

Kevyn158
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Squeeze-and-Excitation Networks 论文笔记
Tianchao龙虾
08-06 414
Squeeze-and-Excitation Networks 论文链接: https://arxiv.org/abs/1709.01507 一、 Problem Statement 本论文关注channel之间的关系，提出了一个新的结构单元，SE block。 这个SE block可以自适应地重新校准通道特征响应, 这样就网络就可以学习使用全局信息来选择性地强调信息性特征，并抑制不太有用的特征。 二、 Direction 提出了一个新的结构单元: SE block。其分为两个部分，squeeze oper
论文翻译：2020：ECAPA-TDNN: Emphasized Channel Attention, Propagation and Aggregation in TDNN Based Speake...
凌逆战的博客
02-06 2048
论文地址：ECAPA-TDNN：在基于TDNN的说话人验证中强调通道注意、传播和聚集 论文代码：https://github.com/TaoRuijie/ECAPA-TDNN 引用格式：Desplanques B, Thienpondt J, Demuynck K. Ecapa-tdnn: Emphasized channel attention, propagation and aggreg...
笔记：深度学习与有向无环图SVM结合用于年龄估计的局部调整
ckc_csdn的博客
05-24 1246
为了进一步提高年龄估计的精度，提出了一种基于深度学习和有向无环图SVM的局部调整年龄估计算法。在训练阶段，首先对VGGFace2数据集预先训练好的SE-ResNet-50网络进行微调。一旦网络收敛，由最后一个完全连接层的参数组成的向量作为表示，并训练多个一对一的（One-Versus-One）支持向量机。在测试阶段,我们首先将待估计的人脸图像送入SE-ResNet-50得到粗略的年龄估计值，然后设置特定的邻域，最后将训练好的支持向量机组合成有向无环图支持向量机，以全局估计的特定邻域为中心进行精确的年龄估计。
Squeeze-and-ExcitationNetworks流程图及其原理解析
ptgood的博客
09-09 4006
介绍一下这个SE-Block,作者利用它获得了最后一届imageNet的冠军 论文链接： https://arxiv.org/abs/1709.01507 GitHub： https://github.com/hujie-frank/SENet 论文翻译:  https://blog.csdn.net/Quincuntial/article/details/78605463 论文解读：...
SE注意力模块学习笔记《Squeeze-and-Excitation Networks》
985小菜鸡
03-26 1747
卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表示能力，最近的几种方法显示了增强空间编码的好处。作者专注于通道关系，并提出了一种新的架构单元，称之为“挤压-激励”(SE)块，该单元通过明确建模通道之间的相互依赖性自适应地重新校准通道级别(channel-wise )的特征响应。作者证明，通过将这些块堆叠在一起所构建的 SENet 架构，在具有挑战性的数据集上泛化得非常好。
Squeeze-and-Excitation Networks论文阅读笔记
read, note and comment papers
09-30 163
Squeeze-and-Excitation Networks 提高特征之间的空间相关性可以提高网络的性能，而本文从另一个角度入手，提高通道之间的相关性，利用全局信息，增强有关通道的特征，压制无关通道的特征，本质上是一种channel attention。可以作为一种inplace的操作插入任何网络结构中 在网络浅层的SEblock可以无差别地提取图片中的有效信息，在网络深层的SEblock对不同类别有不同的响应（辩证地看，这一点并没有被证实） SEblock其实就是输入channel接一
注意力机制——Squeeze-and-Excitation Networks（SENet）
weixin_50752408的博客
03-16 2350
2.Excitation操作：根据Squeeze操作得到的通道重要性系数，对每个通道的特征图进行加权，即通过一个全连接层对重要性系数进行学习，得到一个权重向量，然后将该向量应用到原始的特征图上。1.Squeeze操作：将每个通道的特征图压缩成一个数值，即全局平均池化（global average pooling），可以理解为对每个通道进行特征提取，得到该通道的重要性系数。是一种通道注意力模型，通过对每个通道进行权重调整，增强对于重要通道的关注度，从而提高了模型的表现力。表示输入特征图的通道数，
Squeeze-and-Excitation Networks学习笔记
charles_zhang_的博客
06-08 741
卷积神经网络（CNN）的核心构建模块是卷积算子，它使网络能够通过融合每层局部感受野中的空间和通道信息来构建信息特征。大量先前的研究已经调查了这种关系的空间成分，试图通过提高整个特征层次的空间编码质量来增强CNN的代表性。在这项工作中，我们将重点放在通道关系上，并提出了一种新的体系结构单元，我们称之为“挤压和激励”（SE）块，它通过显式建模通道之间的相互依赖性，自适应地重新校准通道特征响应。我们表明，这些块可以堆叠在一起，形成SENet体系结构，可............
Squeeze-and-Excitation Networks阅读笔记一
WHS-_-2022的博客
08-06 300
卷积算子（）是卷积神经网络（cnn）的核心组成部分，它使网络能够通过融合每层局部接受域内的空间和通道信息来构建信息特征。广泛的先前研究已经调查了这种关系的空间组成部分，寻求通过增强整个特征层次的空间编码质量（）来加强CNN的表示能力。在这项工作中，我们将重点放在通道关系（）上，并提出了一种新的架构单元，我们称之为（SE）块，该单元通过明确建模通道之间的相互依赖性，自适应地重新校准通道特征响应。这些块可以堆叠在一起，形成SENet架构，可在不同的数据集上极其有效地泛化。
《Squeeze-and-Excitation Networks》论文笔记
JR_Chan的博客
07-27 1171
SENet 这篇文章“Squeeze-and-Excitation Networks”是CVPR2018的一篇论文，因为最近看的MnasNet的论文里面提到了SENet里面提出的一个很有用的block，所以又翻出来看了下这篇文章，原论文见 Squeeze-and-Excitation Networks。  下面是对论文的一个简单翻译： 摘要  卷积神经网络（CNN）的核心组成部分是卷积算子，它通...
Squeeze-and-Excitation Networks
04-05
Squeeze-and-Excitation Networks（简称SENet）是一种深度学习模型，由Jie Hu等人提出。SENet是针对卷积神经网络（CNN）的改进方案，它通过特别设计的网络结构——即“Squeeze-and-Excitation”（SE）块来增强网络中...
Squeeze-and-Excitation Networks 论文思维导图
04-07
该资源给出了论文 Squeeze-and-Excitation Networks 整体的思维导图情况，可以更方便的加深对论文的理解与应用，所使用的软件是 XMind zen.
Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image
09-28
"Squeeze-and-Excitation"（SE）模块是由Hu等人提出的，其核心思想是通过自适应地调整通道之间的权重，使网络能更好地关注重要特征，而忽略不那么重要的信息。在RESCAN模型中，SE模块被引入到循环结构中，增强了模型...
Python-RESCAN一种单图像深度去雨算法
08-09
2. **Squeeze-and-Excitation（SE）模块**：SE模块是受到ResNet架构启发的一种自注意力机制，它可以动态地调整特征通道的权重，强调关键信息并抑制不重要的特征。在去雨任务中，SE模块有助于识别和分离雨滴特征。 3...
Rock thin sections identification based on improved squeeze-and
11-11
本文提出的“基于改进的squeeze-and-Excitation Networks模型的岩石薄片识别”（MaSE-ResNeXt）旨在解决现有机器学习方法在数据层级和模型针对性方面存在的问题。squeeze-and-Excitation Networks（SENet）是一种...
【论文阅读】GLiRA: Black-Box Membership Inference Attack via Knowledge Distillation
最新发布
Glass_Gun的博客
08-23 473
Membership inference attack，成员推理攻击。knowledge distillation，知识蒸馏。trustworthy AI，可信人工智能。
【论文阅读】APMSA: Adversarial Perturbation Against Model Stealing Attacks（2023）
Glass_Gun的博客
08-20 1086
换句话说，对于威胁模型隐私的模型窃取攻击，利用API查询公共数据的可接受次数(即通常较小)，并从MUA获取返回的预测，以构建用于训练替代/被盗模型的“传输数据集”，从而危及MUA的隐私并破坏其业务价值。值得注意的是，除了私下使用被盗模型进行进一步的免费查询外，被盗模型还可以用来制作可转移的对抗示例来欺骗MUA[12]，[13]。攻击者通过私有模型提供的付费查询服务(即MLaaS提供的API)，对查询的输入x获得预测y，在某些情况下，返回的预测通常是概率向量(即x属于特定类别的置信度)或标签(top-1)。
VIT论文阅读： A Image is Worth 16x16 Words
qq_19859865的博客
08-18 551
在2024年，大家都知道了transformer的故事，但是在4年前, CNN和Transformer谁才是CV的未来，还没有那么确定。在简介部分，作者提到了一个令人失望的事实，在基于imagenet的实验中发现，transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality，这些CNN具有，但是transformer不具有的特性上。如下图【1】
Swin-Transformer论文阅读
qq_19859865的博客
08-20 886
在CNN对于图像分类，目标检测等问题的探索中，大家已经发现，母舰检测，语义分割这类任务，相比于图像分类对于网络backbone有着不一样的需求。而基于vit对于图像分类问题的探索，接下来，大家可以依葫芦画瓢，尝试解决更有挑战的问题了。关于目标检测，语义分割这类任务，通常需要网络具有分层提取不同颗粒度的特征，并且，网络的是输入可能是更高分辨率的图像，输出也是更精细的特征，比如语义分割的mask。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值