轻量级网络：Squeeze-and-Excitation Networks

最新推荐文章于 2024-05-09 11:10:33 发布
最新推荐文章于 2024-05-09 11:10:33 发布
阅读量1.1k 收藏 9
点赞数 2
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38156104/article/details/107695711
版权
  • Squeeze-and-Excitation Networks（SENet）是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军，top5的错误率达到了2.251%，比2016年的第一名还要低25%，可谓提升巨大。
  •  Squeeze-and-Excitation(SE) block并不是一个完整的网络结构，而是一个子结构，可以嵌到其他分类或检测模型中
  • SENet的核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。
  • 论文地址：https://arxiv.org/abs/1709.01507
  • 代码：https://github.com/hujie-frank/SENet
  • PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch

 提出

近些年来，卷积神经网络在很多领域上都取得了巨大的突破。而卷积核作为卷积神经网络的核心，通常被看做是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。卷积神经网络由一系列卷积层、非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像的特征来进行图像的描述。

在这里插入图片描述

在空间维度上提升网络性能的探索

学到一个性能非常强劲的网络是相当困难的，其难点来自于很多方面。有很多工作提出来从空间维度层面来提升网络的性能，如 Inception 结构中嵌入了多尺度信息，聚合多种不同感受野上的特征来获得性能增益；在 Inside-Outside 网络中考虑了空间中的上下文信息；还有将 Attention 机制引入到空间维度上，等等这些工作都获得了相当不错的成果。

在这里插入图片描述

 提出SENet的动机

以上工作都是从空间维度上来提升网络的性能。那么很自然想到，网络是否可以从其他层面来考虑去提升性能，比如考虑特征通道之间的关系？所以基于这一点胡杰等人便提出了 Squeeze-and-Excitation Networks（简称 SENet）。他们的动机是希望显式地建模特征通道之间的相互依赖关系。另外，并不打算引入一个新的空间维度来进行特征通道间的融合，而是采用了一种全新的「特征重标定」策略。具体来说，就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征

Squeeze-and-Excitation模块

在这里插入图片描述

 

 上图是 SE 模块的示意图。给定一个输入 x，其特征通道数为 c_1，通过一系列卷积等一般变换后得到一个特征通道数为 c_2 的特征。与传统的 CNN 不一样的是，接下来通过三个操作来重标定前面得到的特征。

1.Squeeze 操作

       一般CNN中的每个通道学习到的滤波器都对局部感受野进行操作，因此每个feature map都无法利用其它feature map的上下文信息，而且网络较低的层次上其感受野尺寸都是很小的，这样情况就会更严重。
       Squeeze 操作是首先顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。

首先Ftr这一步是转换操作（严格讲并不属于SENet，而是属于原网络，可以看后面SENet和Inception及ResNet网络的结合），在文中就是一个标准的卷积操作而已，输入输出的定义如下表示：

                                          

那么这个Ftr的公式就是下面的公式（卷积操作，vc表示第c个卷积核，xs表示第s个输入）。

                                                         

  Ftr得到的U就是Figure1中的左边第二个三维矩阵，也叫tensor，或者叫C个大小为H*W的feature map。而uc表示U中第c个二维矩阵，下标c表示channel。
    接下来就是Squeeze操作，公式非常简单，就是一个global average pooling:
                                            

因此公式2就将H*W*C的输入转换成1*1*C的输出，对应Figure1中的Fsq操作。为什么会有这一步呢？这一步的结果相当于表明该层C个feature map的数值分布情况，或者叫全局信息。

2.Excitation 操作

       它是一个类似于循环神经网络中门的机制。通过参数 w 来为每个特征通道生成权重，其中参数 w 被学习用来显式地建模特征通道间的相关性。

如公式3。直接看最后一个等号，前面squeeze得到的结果是z，这里先用W1乘以z，就是一个全连接层操作，W1的维度是C/r * C，这个r是一个缩放参数，在文中取的是16，这个参数的目的是为了减少channel个数从而降低计算量。又因为z的维度是1*1*C，所以W1z的结果就是1*1*C/r；然后再经过一个ReLU层，输出的维度不变；然后再和W2相乘，和W2相乘也是一个全连接层的过程，W2的维度是C*C/r，因此输出的维度就是1*1*C；最后再经过sigmoid函数，得到s。
                                          

也就是说最后得到的这个s的维度是1*1*C，C表示channel数目。这个s其实是本文的核心，它是用来刻画tensor U中C个feature map的权重。而且这个权重是通过前面这些全连接层和非线性层学习得到的，因此可以end-to-end训练。这两个全连接层的作用就是融合各通道的feature map信息，因为前面的squeeze都是在某个channel的feature map里面操作。

3.Reweight 操作

       将 Excitation 的输出的权重看作是经过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。
 在得到s之后，就可以对原来的tensor U操作了，就是下面的公式4。也很简单，就是channel-wise multiplication，什么意思呢？uc是一个二维矩阵，sc是一个数，也就是权重，因此相当于把uc矩阵中的每个值都乘以sc。对应Figure1中的Fscale。

总结

  • 相当于先将input（h*w*c）沿着size方向经过Squeeze操作变成(1*1*c)
  • 再经过Excitation这一步学到一个权重W
  • 最后根据学到的权重W 再经过scale操作变成（h*w*c）的output

可以看出，input和Output的shape是一样的，但是每个位置上的值却是经过重新标定的，实际上直观地看这个网络BLOCK 应该会提升性能，因为假设W是identity那么就是原来的情况，这里的思想有点像Resduial里的想法，就是有一条路可以保证不变，然后另外一条路多少可以学到一些，所以得到的网络是有提升的

SE模块的应用

在这里插入图片描述

方框旁边的维度信息代表该层的输出。

1. 将SE模块嵌入到 Inception 结构中（上左图）

       这里使用 global average pooling 作为 Squeeze 操作。紧接着两个 Fully Connected 层组成一个 Bottleneck 结构去建模通道间的相关性，并输出和输入特征同样数目的权重。首先将特征维度降低到输入的 1/16，然后经过 ReLu 激活后再通过一个 Fully Connected 层升回到原来的维度。这样做比直接用一个 Fully Connected 层的好处在于：

  • 具有更多的非线性，可以更好地拟合通道间复杂的相关性
  • 极大地减少了参数量和计算量。

       然后通过一个 Sigmoid 的门获得 0~1 之间归一化的权重，最后通过一个 Scale 的操作来将归一化后的权重加权到每个通道的特征上。
       多个feature map可以被解释为局部描述子的集合，这些描述子的统计信息对于整个图像来说是有表现力的。这里选择最简单的全局平均池化操作，从而使其具有全局的感受野，使得网络低层也能利用全局信息。

2.将SE模块嵌入到 ResNet 模块中（上右图）

       除了上面可以将SE模块嵌入到 Inception 结构中外，SE 模块还可以嵌入到含有 skip-connections 的模块中。操作过程基本和 SE-Inception 一样，只不过是在 Addition 前对分支上 Residual 的特征进行了特征重标定。如果对 Addition 后主支上的特征进行重标定，由于在主干上存在 0~1 的 scale 操作，在网络较深 BP 优化时就会在靠近输入层容易出现梯度消散的情况，导致模型难以优化。

       大多数的主流网络都是基于这两种类似的单元通过 repeat 方式叠加来构造的。由此可见，SE 模块可以嵌入到现在几乎所有的网络结构中。通过在原始网络结构的 building block 单元中嵌入 SE 模块，我们可以获得不同种类的 SENet。如 SE-BN-Inception、SE-ResNet、SE-ReNeXt、SE-Inception-ResNet-v2 等等。

计算量比较

 从前面的介绍可以看出增加的参数主要来自两个全连接层，两个全连接层的维度都是C/r * C，那么这两个全连接层的参数量就是2*C^2/r。以ResNet为例，假设ResNet一共包含S个stage，每个Stage包含N个重复的residual block，那么整个添加了SE block的ResNet增加的参数量就是下面的公式：

                                                  

 从上面的介绍中可以发现，SENet 构造非常简单，而且很容易被部署，不需要引入新的函数或者层。除此之外，它还在模型和计算复杂度上具有良好的特性。拿 ResNet-50 和 SE-ResNet-50 对比举例来说，SE-ResNet-50 相对于 ResNet-50 有着 10% 模型参数的增长。额外的模型参数都存在于 Bottleneck 设计的两个 Fully Connected 中，由于 ResNet 结构中最后一个 stage 的特征通道数目为 2048，导致模型参数有着较大的增长，实验发现移除掉最后一个 stage 中 3 个 build block 上的 SE 设定，可以将 10% 参数量的增长减少到 2%。此时模型的精度几乎无损失。

参考博客

https://blog.csdn.net/Evan123mg/article/details/80058077

https://blog.csdn.net/zhangjunhit/article/details/77882406

https://blog.csdn.net/Evan123mg/article/details/80058077

坚硬果壳_
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
轻量级网络 Slimmable Neural Networks
Crayon0626的博客
12-28 2987
Slimmable Neural Networks 论文地址：https://arxiv.org/abs/1812.08928 Github: https://github.com/JiahuiYu/slimmable_networks OpenReviews:https://openreview.net/forum?id=H1gMCsAqY7 Motivation 移动端的应用对算法运行效率有较...
Squeeze-and-Excitation Networks
肥羊汤
04-04 578
SENet：挤压和激励网络（解读）（源论文） 文章提出了一个新的单元——SE block ，通过明确地建模通道之间的相互依赖性来自适应地重新校准通道方面的特征响应。展示了这些块可以堆叠在一起形成SENet体系结构，可以跨不同数据集非常有效地进行泛化。 Squeeze: Global Information Embedding(全局信息嵌入) 为了解决利用通道依赖性的问题，首先考虑输出功能...
（论文翻译）Squeeze-and-Excitation Networks (通道注意力CVPR2018)
最新发布
qq_39214409的博客
05-09 741
背景：卷积神经网络的目的是通过局部感受野融合空间信息（图像中像素的排列和位置）和通道信息来提取具有更多信息的特征。挑战：如何提升网络的表示能力？提出新方法：我们聚焦在通道关系并提出SE block，它可以通过通道间的依赖关系动态调整通道特征。贡献我们证明了通过不断的SE block堆叠，可以得到极具泛化性的网络结构，并适用于多种数据集。SE block相对于已有的SOTA方法中有着最小额外计算开销。SENets在排名前五的方法中误差降低到2.2512.251\%2.251%。
Attention机制和SE-net论文总结
Amigo_1997的博客
05-06 4630
attention机制 注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。实现这一能力的原因是人类视网膜的不同部位具有不一样的信息处理能力，即不同部分的敏锐度（Acuity）不同，人类视网膜中央凹部位具有最高的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特...
[ 轻量级网络 ] 经典网络模型1——SqueezeNet 详解与复现
A_John 的博客
05-03 5461
[ 轻量级网络 ] 经典网络模型1——SqueezeNet 详解与复现； 1、SqueezeNet； 2、SqueezeNet详解； 3、SqueezeNet复现； SqueezeNet 在 ImageNet 上实现与 AlexNet 同等级别的精度，但 参数少了50倍 ； 通过模型压缩技术，实现了 SqueezeNet 模型压缩到小于0.5MB，相比 AlexNet 模型小了510倍 ； 🔗 论文地址：SqueezeNet: AlexNet-level accuracy with 50x fewer...
Squeeze-and-Excitation Networks 论文思维导图
04-07
该资源给出了论文 Squeeze-and-Excitation Networks 整体的思维导图情况，可以更方便的加深对论文的理解与应用，所使用的软件是 XMind zen.
Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image
09-28
图像中雨水条纹会严重降低能见度，导致许多当前的计算机视觉算法无法工作，比如在自动驾驶场景下图像去雨就变得非常重要。本文提出了一种基于深度卷积和递归神经网络的新型深度网络体系结构，用于单图像去雨。
Rock thin sections identification based on improved squeeze-and
11-11
本文提出的“基于改进的squeeze-and-Excitation Networks模型的岩石薄片识别”（MaSE-ResNeXt）旨在解决现有机器学习方法在数据层级和模型针对性方面存在的问题。squeeze-and-Excitation Networks（SENet）是一种...
轻量级神经网络的结构详细讲解
12-10
以上这些轻量级网络结构都有其独特的设计理念，如ResNet的残差学习、ResNeXt的cardinality、Inception的多尺度处理、Xception的深度可分离卷积、SqueezeNet的火苗模块和Deep Compression，以及ShuffleNet V1的通道洗...
[论文理解] Squeeze-and-Excitation Networks
weixin_30664615的博客
09-08 147
Squeeze-and-Excitation Networks 简介 SENet提出了一种更好的特征表示结构，通过支路结构学习作用到input上更好的表示feature。结构上是使用一个支路去学习如何评估通道间的关联，然后作用到原feature map上去，实现对输入的校准。支路的帮助学习到的是神经网络更加适合的表示。为了使网络通过全局信息来衡量通道关联，结构上使用了global poo...
SqueezeNet模型详解
m0_62919535的博客
02-01 1321
SqueezeNet相对于传统的深层CNN模型，如VGG或ResNet，具有更小的模型大小和更少的参数，但在一些任务上仍能取得不错的性能。这使得SqueezeNet成为在资源受限环境中进行实时图像分类等应用的有力选择。目前我也是在学习的阶段，学习这一部分也是为了积累轻量化模型的方法，因为因为轻量化模型在移动设备、嵌入式系统以及一些资源受限的环境中都具有重要的应用价值。
SqueezeNet论文详解
qq_38807688的博客
11-27 1486
原文地址： https://arxiv.org/pdf/1602.07360.pdf 网络介绍： 本文提出SqeezeNet。它在ImageNet上实现了和AlexNet相同的正确率，但是只使用了1/50的参数。更进一步，使用模型压缩技术，可以将SqueezeNet压缩到0.5MB，这是AlexNet的1/510。 架构的提出动机（轻量化模型的好处）： 1.提高分布式训练的效...
SqueezeNet网络讲解
急流勇进
03-27 7127
原文地址：https://zhuanlan.zhihu.com/p/31558773 引言 SqueezeNet是Han等提出的一种轻量且高效的CNN模型，它参数比AlexNet少50x，但模型性能（accuracy）与AlexNet接近。在可接受的性能下，小模型相比大模型，具有很多优势：（1）更高效的分布式训练，小模型参数小，网络通信量减少；（2）便于模型更新，模型小，客户端程序容易更新；...
论文分享BAANet:Learning Bi-directional Adaptive Attention Gates for Multispectral Pedestrian Detection
weixin_50961180的博客
07-21 318
2022ICRA，多模态行人检测
SENet（Squeeze-and-Excitation Networks）算法笔记
热门推荐
AI之路
09-16 8万+
论文：Squeeze-and-Excitation Networks 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch Sequeeze-and-Excitation(S
超轻量级网络SqueezeNet算法详解
walle的博客
11-24 2598
整个网络大小5m http://blog.csdn.net/shenxiaolu1984/article/details/51444525
轻量化网络：SqueezeNext
人工智能技术学习与分享
06-05 4647
《SqueezeNext: Hardware-Aware Neural Network Design》 于2018年3月公开在arXiv(美[ˈɑ:rkaɪv]) ：https://arxiv.org/abs/1803.10615 SqueezeNext是基于SqueezeNet进行改进的一种轻量化网络。 该论文是一篇“软硬兼并”的轻量化网络论文，以往的论文大多都只讲了网络如何设计，并没有...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值