SENet

最新推荐文章于 2023-03-16 13:10:59 发布
最新推荐文章于 2023-03-16 13:10:59 发布
阅读量174 收藏
点赞数
文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38701321/article/details/120818032
版权

SENet的提出动机非常简单，传统的方法是将网络的Feature Map等权重的传到下一层，SENet的核心思想在于建模通道之间的相互依赖关系，通过网络的全局损失函数自适应的重新矫正通道之间的特征相应强度。

SENet由一些列SE block组成，一个SE block的过程分为Squeeze（压缩）和Excitation（激发）两个步骤。其中Squeeze通过在Feature Map层上执行Global Average Pooling得到当前Feature Map的全局压缩特征向量，Excitation通过两层全连接得到Feature Map中每个通道的权值，并将加权后的Feature Map作为下一层网络的输入。

preview

 

网络的左半部分是一个传统的卷积变换，忽略掉这一部分并不会影响我们的SENet的理解。我们直接看一下后半部分，其中 U 是一个 [公式] 的Feature Map， [公式] 是图像的尺寸， [公式] 是图像的通道数。

经过 Squeeze操作后，图像变成了一个 [公式] 的特征向量，特征向量的值由 [公式] 确定。经过 [公式] 后，特征向量的维度没有变，但是向量值变成了新的值。这些值会通过和 [公式] 的 [公式] 得到加权后的 [公式] 。 [公式] 和 [公式] 的维度是相同的。

 

1、 squeeze

Squeeze部分的作用是获得Feature Map U 的每个通道的全局信息嵌入（特征向量）。在SE block中，这一步通过VGG中引入的Global Average Pooling（GAP）实现的。也就是通过求每个通道 [公式] 的Feature Map的平均值：

 

通过GAP得到的特征值是全局的

2、excitation

Excitation部分的作用是通过学习 [公式] 中每个通道的特征权值，要求有三点：

  1. 要足够灵活，这样能保证学习到的权值比较具有价值；
  2. 要足够简单，这样不至于添加SE blocks之后网络的训练速度大幅降低；
  3. 通道之间的关系是non-exclusive的，也就是说学习到的特征能够激励重要的特征，抑制不重要的特征。

根据上面的要求，SE blocks使用了两层全连接构成的门机制（gate mechanism）。门控单元  （即图1中 [公式] 的特征向量）的计算法方式表示为：

 

qq_38701321
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SENet-master
10-19
**SENet（Squeeze-and-Excitation Networks）详解** SENet是一种深度学习网络架构，由华为诺亚方舟实验室的研究人员提出，旨在提高卷积神经网络（CNNs）的性能，尤其是在识别图像中的细微特征时。这个网络的核心...
SENet解析
m0_56192771的博客
05-06 8487
1 前言 在深度学习领域，CNN分类网络的发展对其它计算机视觉任务如目标检测和语义分割都起到至关重要的作用，因为检测和分割模型通常是构建在CNN分类网络（称为backbone）之上。提到CNN分类网络，我们所熟知的是VGG，ResNet，Inception，DenseNet等模型，它们的效果已经被充分验证，而且被广泛应用在各类计算机视觉任务上。这里我们介绍一篇CVPR2017的文章SENet，它赢得了最后一届ImageNet 2017竞赛分类任务的冠军。重要的一点是SENet思路很简单，很容易扩展在已有网络
senet
qq_24876435的博客
03-21 100
论文阅读笔记---senet_xys430381_1的博客-CSDN博客 概要 论文的动机是从特征通道之间的关系入手，希望显式地建模特征通道之间的相互依赖关系。另外，没有引入一个新的空间维度来进行特征通道间的融合，而是采用了一种全新的“特征重标定”策略。 SENet的核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。具体来说，就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这
SENet（2017）
studyeboy的专栏
08-17 226
卷积核作为卷积神经网络的核心，通常被看作是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。卷积神经网络由一系列卷积层、非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像的特征来进行图像的描述。 去学到一个性能非常强劲的网络是相当困难的，从空间维度层面来提升网络的性能，如Inception结构中嵌入了多尺度信息，聚合多种不同感受野上的特征来获得性能增益；在Inside-Outside网络中考虑了空间中的上下文信息；将Attenti
Senet-开源
04-26
Senet，源自古埃及，是一种历史悠久的棋盘游戏，它在古代社会中极其流行，如今通过开源项目，我们得以再次体验这种古老的游戏魅力。"Senet-开源"项目旨在重现这款经典游戏，让现代玩家能够按照历史学家Timothy ...
SENet-master.zip
09-02
SENet（Squeeze-and-Excitation Networks）是由华为诺亚方舟实验室的研究人员在2017年提出的深度学习模型，旨在改善卷积神经网络（CNNs）对特征的识别和利用效率。这个模型的核心思想是引入“注意力机制”到传统的...
SENet原版论文1
08-03
SENet 原版论文 1 SENet（Squeeze-and-Excitation Networks）是一种深度学习模型，旨在提高卷积神经网络（Convolutional Neural Networks，CNNs）的表征能力。该模型通过引入一种新的架构单元，称为 Squeeze-and-...
SENet-PyTorch
05-10
这是SENet的PyTorch实施（在ImageNet数据集上进行训练） 论文： 用法 准备数据 该代码以ImageNet数据集为例。 您可以下载ImageNet数据集，并将其放入如下位置。 由于内存限制，我仅提供ILSVRC2012_dev_kit_t12 ，...
注意力机制——Squeeze-and-Excitation Networks（SENet）
weixin_50752408的博客
03-16 2244
2.Excitation操作：根据Squeeze操作得到的通道重要性系数，对每个通道的特征图进行加权，即通过一个全连接层对重要性系数进行学习，得到一个权重向量，然后将该向量应用到原始的特征图上。1.Squeeze操作：将每个通道的特征图压缩成一个数值，即全局平均池化（global average pooling），可以理解为对每个通道进行特征提取，得到该通道的重要性系数。是一种通道注意力模型，通过对每个通道进行权重调整，增强对于重要通道的关注度，从而提高了模型的表现力。表示输入特征图的通道数，
在特征通道提升网络性能 --SENet网络详解
panghuzhenbang的博客
05-16 4190
论文地址： 《Squeeze-and-Excitation Networks》 1. 简介 SENet是ImageNet 2017（ImageNet最后一届比赛）的 Image Classification 任务的冠军模型，和ResNet的出现类似，都在很大程度上减小了之前模型的错误率，并且复杂度低，新增参数量和计算量小。 SENet的全称是Squeeze-and-Excitation Networks，中文可以翻译为压缩和激励网络。 SE block并不是一个完整的网络结构，而是一个子结构，可以
详解ImageNet 2017夺冠架构SENet
Sweet_Harbour的博客
10-03 4688
本文转载至机器之心专栏，作者：胡杰，原文地址：http://www.sohu.com/a/161633191_465975       本届 CVPR 2017大会上出现了很多值得关注的精彩论文，国内自动驾驶创业公司 Momenta 联合机器之心推出 CVPR 2017 精彩论文解读专栏。除此之外，Momenta 还受邀在 CVPR 2017 的 ImageNet Workshop 中发表演讲，介
SENet学习笔记
xjz18298268521的博客
01-16 3万+
SENet总结 论文：《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet 1. 概述   此论文是由Momenta公司所作并发于2017CVPR，论文中的SENet赢得了ImageNet最后一届（ImageNe
SENet（Squeeze-and-Excitation Networks）网络详解
zhw864680355的博客
02-20 1万+
论文：《Squeeze-and-Excitation Networks》论文链接：https://arxiv.org/abs/1709.01507  代码地址：https://github.com/hujie-frank/SENet  PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 原文链接：https://blog.csdn....
Squeeze-and-ExcitationNetworks流程图及其原理解析
ptgood的博客
09-09 3994
介绍一下这个SE-Block,作者利用它获得了最后一届imageNet的冠军 论文链接： https://arxiv.org/abs/1709.01507 GitHub： https://github.com/hujie-frank/SENet 论文翻译:  https://blog.csdn.net/Quincuntial/article/details/78605463 论文解读：...
SENet概览
gaoxueyi551的专栏
09-11 3万+
一、背景 在深度学习领域，已经有很多成果通过在空间维度上对网络的性能进行了提升。但是，SENet反其道而行之，通过对通道关系进行建模来提升网络的性能。Squeeze和Excitation是两个非常关键的操作，所以SENet以此来命名。SENet的动机是希望显式地建模特征通道之间的相互依赖关系，具体来说，就是通过学习的方式来自动获取每个通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。 二、结构 给定一个输入 ，其特征通道数为 ，通过一系列...
SeNet论文详解
qq_38807688的博客
11-21 7589
原文地址： https://arxiv.org/pdf/1709.01507.pdf 背景： 最后一届ImageNet 2017竞赛 Image Classification任务的冠军.作者采用SENet block和ResNeXt结合在ILSVRC 2017的分类项目中拿到第一，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。 ...
SENet详解
热门推荐
AI人工智能与大数据
08-06 4万+
SENet是ImageNet 2017（ImageNet收官赛）的冠军模型，和ResNet的出现类似，都在很大程度上减小了之前模型的错误率（具体见附录），并且复杂度低，新增参数和计算量小。下面就来具体介绍一些SENet的神奇之处。 SENet的全称是Squeeze-and-Excitation Networks，中文可以翻译为压缩和激励网络。主要由两部分组成： 1. Squeeze部分。...
SENET tensorflow
最新发布
05-24
SENET是一种深度学习网络结构，它可以用于图像分类、目标检测等任务。它的主要特点是引入了一种新的模块——SE模块，通过对不同通道的特征进行加权，进一步提升了网络的性能。SENET TensorFlow是基于TensorFlow框架实现的SENET模型。 在SENET中，SE模块主要有两个部分：squeeze和excitation。squeeze部分用来降维，将原始特征图压缩成一个通道数比较小的向量；excitation部分则用来升维，将这个向量重新扩展到原始的通道数大小，并且通过一个sigmoid激活函数进行激活，得到一个与原始特征图形状相同的加权特征图。这个加权特征图中，每个通道的权重是通过学习得到的。 如果你想了解更多关于SENET TensorFlow的内容，可以查看TensorFlow官方文档或者其他相关资料。如果你有任何进一步的问题，请随时问我。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值