论文笔记：主干网络——SENet

已于 2022-07-05 15:50:32 修改
阅读量938 收藏 5
点赞数 2
分类专栏： 主干网络 文章标签： 深度学习 cnn 人工智能 神经网络 计算机视觉
于 2022-05-12 10:04:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuzeyao_Newton/article/details/124659619
版权

Squeeze-and-Excitation Networks

SENet

文章目录

论文结构

摘要： CNN空间维度上的特征分析有广泛研究；本文提出SE block调整通道特征；SE block获得的成绩
1. Introduction： 近期CN的研究是为了获得更好的特征表示；本文从通道维度研究更好的特征表示方法；提出SE block；SE block优点
2. Related Work： CNN经典模型罗列；网络搜索相关工作；注意力机制与门控机制相关工作
3. Squeeze-and-Excitation Blocks： SE block的内部操作
4. Model and computational Complexity： 模型复杂度计算
5. Experiments： 多个数据集上实验结果分析探讨
6. Ablation Study： 控制变量法进行一系列实验，验证最优SE block方式
7. Role of SE blocks： SE block的作用探讨
8. Conclusion

一、摘要核心

  1. 背景介绍：卷积神经网络的核心是卷积操作，其通过局部感受野的方式融合空间和通道维度的特征；针对空间维度的特征提取方法已被广泛研究
  2. 本文内容：本文针对通道维度进行研究，探索通道之间的关系，并提出SE block，它可自适应的调整通道维度上的特征
  3. 研究成果：SE block 课堆叠构成SENet，SENet在多个数据集上表现良好；SENet不仅可大幅度提升精度，同时仅需要增加少量的参数
  4. 比赛成绩
  5. 代码开源

二、Squeeze and Excitation

① Squeeze：Global Information Embedding

全局信息降维嵌入

在这里插入图片描述

squeeze操作：采用全局池化，将空间维度H和W压缩到1×1，利用1个像素来表示一个通道，实现低维嵌入

② Excitation：Adaptive Recalibration

自适应重构
在这里插入图片描述

在这里插入图片描述

公示（3）中，第一个全连接层的激活函数是ReLU，第二个全连接层激活函数为Sigmoid

超参数reduction ratio r控制第一个全连接层神经元个数，C/r 个，进而影响SE Block的参数量。减少计算量

关于r的有对比实验，经验值为16

③ SE Block流程图

在这里插入图片描述

  1. Squeeze：压缩特征图至向量形式
  2. Excitation： 两个全连接层对特征向量进行映射变换
  3. Scale：将得到的权重向量进行逐通道乘法

C个神经元–>C/r 个神经元（第一个FC层）–>C个神经元（第二个FC层）

④ SE Block嵌入方法

在这里插入图片描述

基本原则：
SE Block只“重构”特征图，不改变原来结构

三、SE-ResNet-50

在这里插入图片描述

在这里插入图片描述
文中公式（5）描述了ResNet中嵌入SE Block所增加的参数量

r：reduction ratio r ，控制第一个全连接层神经元个数，通常为16

S：表示stage，不同stage分开计算，因为不同stage特征图通道数不一样

N_s：第S个stage有多少个building block堆叠。例如ResNet-50，N1到N4等于3，4，6，3

C_s：第S个stage的building block中特征图有多少个通道，C1到C4等于256,512,1024,2048

ResNet-50：代入这个公式大概算出2.5million个参数
在这里插入图片描述

四、实验结果及分析

Single-Crop下ImageNet-1K分类

（1）在非残差连接模型上进行实验
超参设置：
在这里插入图片描述
实验结果：
在这里插入图片描述

  1. SE-Module均带来了性能提升
  2. SE-ResNet-50精度与ResNet-101差不多，但是GFLOPs少一半
  3. SE-Module与网络深度带来的提升是互补的
  4. 非残差结构的模型上，同样有提升
    在这里插入图片描述

（2）轻量化模型上嵌入 SE Block，同样获得性能提升。
超参设置与以前不同
在这里插入图片描述
在这里插入图片描述
（3）更多数据集上实验
在CIFAR-10、100,places365和COCO数据集上进行实验，加入SE Module后，性能均获得提升
在这里插入图片描述

五、Ablation Study 控制变量法进行实验

① 实验一：Reduction Ratio的选择

在这里插入图片描述
r 直接影响到SE Block的参数量和计算量。

r越大、参数越少，入6时，在精度和参数上得到比较好的平滑

② 实验二：Squeeze中池化中池化选max还是average

在这里插入图片描述
Avg比max效果更好，因此Squeeze中采用平均池化

③ 实验三：Excitation中，第二个FC层激活函数用sigmoid？ReLU？Tanh？

在这里插入图片描述
用Tanh替换Sigmoid时，性能下降，
用ReLU替换Sigmoid时，性能显著下降

在涉及尺度变换时，尝试Sigmoid激活函数

④ 实验四：SE Block嵌入网络的哪个阶段最合适

在这里插入图片描述
各个stage单独加入SE Block均能提升精度，
所有stage都加入SE Block，也能提升精度，

所以SE Block是普适性的模块，可嵌入网络任意位置

⑤ 实验五：SE Block嵌入Building Block什么位置最合适？

在这里插入图片描述
在这里插入图片描述

实验表明，在四个箭头嵌入，精度差别不大

结论：SE Block很鲁棒

六、Role of SE Block

① 实验六：探究squeeze中的全局池化是否重要（squeeze的作用）

在这里插入图片描述

对比实验：
移除池化层，并将Excitation的FC层替换成1×1卷积来实现特征变换

1×1卷积缺乏对空间维度信息的处理（融合整合）

结论：缺乏squeeze，精度下降

② 实验七：探究excitation输出的权重是否有意义？是否有强调有忽略？（Excitation的作用）

研究方法：通过观察Excitation最终输出权重向量的分布，方差是否大，方差越大表面网络越有选择性。
在这里插入图片描述
实验方法：观察各个stage最后一个block的excitation的权重分布，看看是否有高有低（有无注意力机制）

结论：在前三个stage中均表现出较大的方差，Excitation的输出的确具有特征的选择性

在这里插入图片描述
结论：最后一个stage的后两个block的方差较小，因此可以不加SE Block，以节省参数

探究类内的分布：
可以发现在最后一个stage，类内的防擦哈较大，表明网络是有选择性的

七、论文总结

① 关键点、创新点

  1. 提出SE模块生成通道维度的权重向量，用于特征“重构”，实现强调重要特征，忽略不重要特征，增强模型表征能力，提高模型性能。
  2. 设计一系列实验验证SE Block的有效性，特别是Ablation Study方法十分值得学习

② 备用参考文献知识点

  1. 实验结果表明，加入SE Blocks可作为模型增加深度的互补，即同时增加SE Block和网络深度，均可带来性能提升。
    suggesting that the improvements induced by SE blocks may be complementary to those obtained by simply increasing the depth of the base architecture. （论文5.1的network depth）

  2. SE Block嵌入ResNet时，FC层不要加偏置。
    We found empirically that on ResNet architectures, removing the biases of the FC layers in the excitation operation facilitates the modelling of channel dependencies（论文6的第一段）

  3. 多个对比实验的精度没有明显差异时，可以说有很好的鲁棒性
    This experiment suggests that the performance improvements
    produced by SE units are fairly robust to their location, provided that they are applied prior to branch aggregation.（论文6.5的第一段）

八、研究的部分参考文献

（1）STNet 空间变换网络：（参考文献9）
提出spatial transformer，将变形的、位置偏离的图像变换到图像中间，使CNN对空间变换更鲁棒。

（2）Attention ResNet 注意力机制：（参考文献58）
特征图引出的分支 经过一系列的网络层运算，输出权重值，利用权重值与特征图进行计算，去修改原来的特征图，使模型加强关注的区域的特征值。（参考文献58）

提出一种前向Attention机制，利用Attention的网络，在原有网络的基础上新增一个分支来提取Attention，并进行单独的训练，而本文提出的模型能够就在一个前向过程中提取模型的Attention，是模型训练更简单

（3）CBAM：convolution block attention module（参考文献59）
提出两阶段的注意力机制，一个针对通道维度，一个针对空间维度。可以看出注意力机制可分不同维度进行

liuzeyao_Newton
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SENet原版论文1
08-03
SENet原版论文1
SENet：Squeeze-and-Excitation Networks（CVPR 2018）详解
Lil Wing
02-27 1304
一、SENet简介        Squeeze-and-Excitation Networks（SENet）是由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率。这个结构是2017 ILSVR竞赛的冠军，top5的错误率达到了2.251%，比2016年的第一名还要低25%，可谓提升巨大。      &
SEnet论文笔记及代码
weixin_43974261的博客
09-26 501
总体介绍： SEnet的主要思想是在图片的通道中加入注意力机制，提出了一种可应用于多种网络结构的Squeeze-and-Exitation结构（SE block）。 Squeeze and Excitation Blocks 如图所示，输入矩阵X通过卷积神经网络转化为矩阵U，再使用全局平均池化将矩阵压缩为1x1xchannel的矩阵，相当于提取了每一个通道的全局特征，通道上的实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可
SENet（Squeeze-and-Excitation Networks）网络详解
zhw864680355的博客
02-20 1万+
论文：《Squeeze-and-Excitation Networks》论文链接：https://arxiv.org/abs/1709.01507  代码地址：https://github.com/hujie-frank/SENet  PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 原文链接：https://blog.csdn....
SENet（Squeeze-and-Excitation Network）注意力机制
吃葡萄不吐葡萄皮
08-23 1053
SENet（Squeeze-and-Excitation Network）是一种用于深度卷积神经网络（CNN）的注意力机制，旨在增强网络在特征通道上的表示能力。它通过学习每个通道的重要性权重，然后使用这些权重来重新加权特征图，从而增强有用信息的表示，抑制不相关信息。的模块，用于在给定的输入特征图上应用SENet注意力机制。在这个阶段，通过一个两层的全连接网络来学习通道的重要性权重。的张量输入到一个全连接层，将通道数压缩到一个较小的值，称为。逐元素相乘，从而获得每个通道上的加权特征图。的张量，与原始特征图。
经典神经网络论文超详细解读（七）——SENet（注意力机制）学习笔记（翻译＋精读＋代码复现）
热门推荐
路人贾的博客
01-05 1万+
SENet论文（《Squeeze-and-Excitation Networks》）超详细解读。翻译＋总结。文末有代码复现
【论文阅读】SENet：Squeeze-and-Excitation Networks
hu_yinghui的博客
10-17 1915
论文阅读：Squeeze-and-Excitation Networks 卷积神经网络建立在卷积运算的基础上，通过在局部感受野内融合空间信息和通道信息来提取信息特征。为了提高网络的表现力，最近的几种方法显示了增强空间编码的好处。在这项工作中，我们将重点放在通道关系上，并提出了一种新的架构单元，我们称之为SE块。它通过显式建模通道之间的相互依赖关系，自适应地重新校准通道特性响应。我们证明，通过将这些块堆叠在一起，我们可以构建在具有挑战性的数据集上非常通用的SENet架构。
经典论文-SeNet论文及实践
uncle_ll的博客
09-16 4802
卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。在这项工作中，我们专注于通道，并提出了一种新颖的架构单元，我们称之为**“Squeeze-and-Excitation”（SE）模块**，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，证明了可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，发现SE块以微小的计算成本为现有的
分割网络，FCN、UNet、SegNet、DeepLab 等等
微信号：Custom-Software
06-07 723
内容较多，可以传送门直达。新网络待更… 文章目录 介绍 网络架构 Fully Convolution Networks (FCNs) 全卷积网络 SegNet U-Net DeepLab v1 DeepLab v2 DeepLab v3 Fully Convolutional DenseNet E-Net 和 Link-Net Mask R-CNN PSPNet RefineNet G-FRNet 半监督语义分割 DecoupledNet .
无卷积骨干网络：金字塔Transformer，提升目标检测/分割等任务精度（附源代码）...
最新发布
小白学视觉
10-17 191
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达论文地址：https://arxiv.org/pdf/2102.12122.pdf源代码地址：https://github.com/whai362/PVT背景具有自注意力的Transformer引发了自然语言处理领域的革命，最近还激发了Transformer式架构设计的出现，并在众多计算机视觉任务中取得了具有竞争力的结果。如下是...
Egyptian Senet:玩Senet古埃及游戏-开源
04-28
Senet是在许多古埃及墓葬中发现的游戏。 法老图坦卡门（Pharaoh Tutankhamen）埋葬了一套。 游戏可能只是娱乐，或者可能具有神秘的意义。 我们不知道规则，因此您只需要从象形文字中找出它们即可。
pytorch--SENet:挤压与激励网络的重新实现
03-17
### Squeeze-和-Excitation Networks实施（pytorch） 为了训练 python main.py # argparser Default --print_freq 32 --save_dir ./save_model/ --save_every 10 --lr 0.1 --weight_decay 1e-4 --momentum 0.9 --...
嵌入改进SENet的卷积神经网络连续血压预测.pdf
09-25
嵌入改进SENet的卷积神经网络连续血压预测.pdf
注意力机制——Squeeze-and-Excitation Networks（SENet）
weixin_50752408的博客
03-16 2012
2.Excitation操作：根据Squeeze操作得到的通道重要性系数，对每个通道的特征图进行加权，即通过一个全连接层对重要性系数进行学习，得到一个权重向量，然后将该向量应用到原始的特征图上。1.Squeeze操作：将每个通道的特征图压缩成一个数值，即全局平均池化（global average pooling），可以理解为对每个通道进行特征提取，得到该通道的重要性系数。是一种通道注意力模型，通过对每个通道进行权重调整，增强对于重要通道的关注度，从而提高了模型的表现力。表示输入特征图的通道数，
SENet(Squeeze-and-Excitation Network)-ImageNet 2017夺冠架构SENet
peacefairy的博客
09-30 421
原文链接：https://www.cnblogs.com/bonelee/p/9030092.html 我们从最基本的卷积操作开始说起。近些年来，卷积神经网络在很多领域上都取得了巨大的突破。而卷积核作为卷积神经网络的核心，通常被看做是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。卷积神经网络由一系列卷积层、非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像的特征来进行图像的描述。 然而去学到一个性能非常强劲的网络是相当困难
【注意力机制】SENet（Squeeze-and-Excitation Networks）详解
Roaddd的博客
12-18 1万+
论文：《Squeeze-and-Excitation Networks》 论文链接：https://arxiv.org/abs/1709.01507 代码地址：https://github.com/hujie-frank/SENet PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 概述        在深度学习领域，CNN分类网络的发展对其他计算机视觉任务如目标检测和语义分割
SENet 论文
Dream_xd的博客
02-27 545
Squeeze-and-Excitation Networks 之前的研究工作的主要集中在获取空间信息上，这片论文的工作集中在通道之间的信息。作者提出了**Squeeze-andExcitation(SE)**模块，此模块可以附加在已有的网络上比如resnet等，额外计算量比较小，取得了很好的效果，取得了ImageNet2017分类任务的冠军。 SENet 网络结构 SE Block包含两个部分...
SeNet论文详解
qq_38807688的博客
11-21 7535
原文地址： https://arxiv.org/pdf/1709.01507.pdf 背景： 最后一届ImageNet 2017竞赛 Image Classification任务的冠军.作者采用SENet block和ResNeXt结合在ILSVRC 2017的分类项目中拿到第一，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。 ...
再分类网络中加senet为什么报错
04-30
在将SENet模块添加到分类网络中时，可能会出现错误。这可能是因为SENet模块的输入和输出尺寸与分类网络中的层不兼容。在这种情况下，您可以尝试以下步骤： 1. 检查SENet模块的输出尺寸是否与分类网络中的下一层的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值