解读Squeeze-and-Excitation Networks（SENet）

最新推荐文章于 2022-10-17 16:39:41 发布
最新推荐文章于 2022-10-17 16:39:41 发布
阅读量1.6k 收藏 8
点赞数 2
分类专栏： 计算机视觉 神经网络 深度学习 人工智能 文章标签： 计算机视觉 深度学习 神经网络 人工智能 SENet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/docrazy5351/article/details/78993397
版权
本文深入解读Squeeze-and-Excitation Networks（SENet）的设计原理和优势。SENet通过通道间相关性的建模，增强重要特征，降低不重要特征，提升图像识别准确率。在ImageNet和场景分类测试中，SENet展现出了显著的性能提升，且计算复杂度增加有限。未来，这种通道注意力机制有望带来更多的研究进展。
摘要由CSDN通过智能技术生成

Squeeze-and-Excitation Networks（SENet）是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军，top5的错误率达到了2.251%，比2016年的第一名还要低25%，可谓提升巨大。这么大的提升是怎么来的呢？今天就来介绍下这个冠军背后的原理细节。

一、结构和原理

图1：SE Block

图1是SENet的Block单元，图中的Ftr是传统的卷积结构，X和U是Ftr的输入（C'xH'xW'）和输出（CxHxW），这些都是以往结构中已存在的。SENet增加的部分是U后的结构：对U先做一个Global Average Pooling（图中的Fsq(.)，作者称为Squeeze过程），输出的1x1xC数据再经过两级全连接（图中的Fex(.)，作者称为Excitation过程），最后用sigmoid（论文中的self-gating mechanism）限制到[0，1]的范围，把这个值作为scale乘到U的C个通道上， 作为下一级的输入数据。这种结构的原理是想通过控制scale的大小，把重要的特征增强，不重要的特征减弱，从而让提取的特征指向性更强。下面来看下SENet的一些细节：
先是Squeeze部分。GAP有很多算法，作者用了最简单的求平均的方法（公式1），将空间上所有点的信息都平均成了一个值。这么做是因为最终的scale是对整个通道作用的，这就得基于通道的整体信息来计算scale。另外作者要利用的是通道间的相关性，而

最低0.47元/天 解锁文章
docrazy5351
关注
专栏目录
注意力机制论文:Squeeze-and-Excitation Networks及其PyTorch实现
mingo_敏
02-26 4639
Squeeze-and-Excitation Networks PDF: https://arxiv.org/pdf/1709.01507.pdf PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks PyTorch代码:
SENet：Squeeze-and-Excitation Networks详解及Pytorch实现
热门推荐
畅游计算机视觉的海洋
04-23 20万+
文章目录前言一、什么是SENetSqueezeExcitation二、完整SE block的Pytorch实现总结 前言 计算机视觉研究领域的一个核心理论就是如何提高网络的表现力使其关注到图片的关键位置，从而提升网络性能。与一般网络通过空间维度优化不同，SENet(Squeeze-and-Excitation Networks)着手于优化channel维度，通过引入注意力机制，增加少量参数，使模型可以更好地获取不同channel上的特征，从而提高准确率。 与其称为SENet，不如称其为SE Block。因
Squeeze-and-Excitation Networks 论文思维导图
04-07
该资源给出了论文 Squeeze-and-Excitation Networks 整体的思维导图情况，可以更方便的加深对论文的理解与应用，所使用的软件是 XMind zen.
Squeeze-and-Excitation Networks（SENet ）
MOL
12-25 6359
SENet 是 ImageNet 2017（ImageNet收官赛）的冠军模型，和ResNet的出现类似，都在很大程度上减少了之前模型的错误率，并且复杂度低，新增参数和计算量小。 　　SE block并不是一个完整的网络结构，而是一个子结构，可以嵌入到其他分类或检测模型中。作者在文中将 SENet block 和 ResNet 插入到现有的多种分类网络中，都取得了不错的效果。SENet 的核心思想在于通过网络根据 loss 去学习特征权重，使得有效的 feature map 权重大，无效或效果小的 fea
SENet：Squeeze-and-Excitation Networks
lly_zy的博客
09-25 456
论文：《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 一：SENet概述 Sque...
Squeeze-and-Excitation Networks
qq_40574133的博客
01-22 968
@ 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了
SE-Net:Squeeze-and-Excitation Networks论文详解
weixin_47166887的博客
10-27 6096
注意力机制的文章之------通道注意力 SE-Net:Squeeze-and-Excitation Networks论文详解 论文链接：https://arxiv.org/pdf/1709.01507.pdf Github代码：https://github.com/hujie-frank/SENet 注意力机制最早用于自然语言处理(NLP),后来在计算机视觉(CV)也得到广泛的应用，之后注意力机制便被引入来进行视觉信息处理。注意力机制的核心思想就是能够从大量的信息中筛选出重要的信息。注意力机制可以分为通道
Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image
09-28
图像中雨水条纹会严重降低能见度，导致许多当前的计算机视觉算法无法工作，比如在自动驾驶场景下图像去雨就变得非常重要。本文提出了一种基于深度卷积和递归神经网络的新型深度网络体系结构，用于单图像去雨。
【论文阅读】SENet：Squeeze-and-Excitation Networks
最新发布
hu_yinghui的博客
10-17 2018
论文阅读：Squeeze-and-Excitation Networks 卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表现力，最近的几种方法显示了增强空间编码的好处。在这项工作中，我们将重点放在通道关系上，并提出了一种新的架构单元，我们称之为SE块。它通过显式建模通道之间的相互依赖关系，自适应地重新校准通道特性响应。我们证明，通过将这些块堆叠在一起，我们可以构建在具有挑战性的数据集上非常通用的SENet架构。
SENet（Squeeze-and-Excitation Networks）网络详解
zhw864680355的博客
02-20 1万+
论文：《Squeeze-and-Excitation Networks》论文链接：https://arxiv.org/abs/1709.01507  代码地址：https://github.com/hujie-frank/SENet  PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 原文链接：https://blog.csdn....
Squeeze-and-Excitation Networks（论文翻译）
MJ17709005513的博客
03-22 4457
摘要 卷积神经网络建立在卷积操作的基础上，它通过在局部感受野中将空间和通道信息融合在一起来提取信息特征。为了提高网络的表示能力，最近的几种方法已经显示出增强空间编码的好处。在这项工作中，我们专注于通道关系并提出了一个新的架构单元，我们称之为“Squeezeand-Excitation”（SE）块，它通过显式建模通道之间的相互依赖关系来自适应地重新校准通道特征响应。我们证明，通过将这些块堆叠在一起，我们可以构建 SENet 架构，该架构在具有挑战性的数据集上泛化得非常好。至关重要的是，我们发现 SE 块以最
Squeeze-and-Excitation_Networks
lt1103725556的博客
12-30 256
这篇文章主要介绍了一个小的SE模块，为模型引入channel-wise的注意力机制：就是为每个channel学习一个权重，到时候把学习到的权重和feature map各个通道分别相乘，重新标定特征 这里引用作者的解释： 这里我们使用 global average pooling 作为 Squeeze 操作。紧接着两个 Fully Connected 层组成一个 Bottleneck 结构去建...
《Squeeze-and-Excitation Networks（SENet）》
u010067397的专栏
11-24 317
解读Squeeze-and-Excitation Networks（SENet） 动机 卷积神经网络已被证明是解决各种视觉任务的有效模型。对于每个卷积层，沿着输入通道学习一组滤波器来表达局部空间连接模式。 换句话说，期望卷积滤波器通过融合空间信息和信道信息进行信息组合，而受限于局部感受野。通过叠加一系列非线性和下采样交织的卷积层，CNN能够捕获具有全局感受野的分层模式作为强大的图像描述。 最...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值