SENet笔记

已于 2022-09-29 23:43:22 修改
阅读量709 收藏
点赞数
分类专栏： Attention Mechanism 文章标签： 深度学习 计算机视觉 人工智能
于 2022-09-29 22:58:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44724769/article/details/127115506
版权

SENet

Convolution

20220929225305
卷积核作为卷积神经网络的核心，通常被看作是在局部感受野上，将空间上（spatial）的信息和特征维度（channel-wise）的信息进行聚合的信息聚合体。卷积神经网络由一系列卷积层、非线性层和池化层构成，这样它们能从全局感受野上去捕获图像的特征来进行图像的描述。

Squeeze-and-Excitation Module

20220929225406
Sequeeze-and-Excitation(SE) block不是一个完整的网络结构，而是一个子结构，可以嵌入到其他分类或者检测模型中。核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或者效果小的feature map权重小的方式训练模型来达到更好的效果。虽然嵌入到其他网络中不可避免增加了一些参数和计算量，但是在效果面前还是可以接受。

SE-Inception模块结构

20220929221026
使用global average pooling作为squeeze操作。紧接着两个FC层组成一个Bottleneck结构来建模通道间的相关性，并输出和输入特征同样数目的权重。首先将特征维度降低到输入的1/16，然后经过ReLU激活后再通过一个FC层回升到原来的维度。好处：具有更多非线性，更好拟合通道见复杂的相关性；减少参数量和计算量。接着通过一个sigmoid的门获得01之间归一化的权重，最后通过一个scale的操作来将归一化的权重加权到每个通道的特征上。

Model and Computational Complexity

20220929225437

Training - Momenta ROCS

20220929225501

Benefits against Network Depth

20220929225522

Incorporation with Modern Architectures

20220929225542

ILSVRC 2017 Classification Task

20220929225600

相关公式

20220929221806

_Gezelligheid_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SENet论文阅读笔记
fireworld123的博客
06-07 648
"Squeeze-and-Excitation”（SE）模块通过显式地建模卷积特征通道之间的相互依赖性来提高网络的表示能力。是一种机制，使网络能够执行特征重新校准，通过这种机制可以学习使用全局信息来选择性地强调信息特征并抑制不太有用的特征。..................
SENet论文笔记
XL的博客
09-11 1498
《Squeeze-and-Excitation Networks》 该文章提出了一种新颖的网络结构，用于对每个通道的特征进行加权处理。在网络的训练过程中，会得到不同数量通道特征，在进行识别的过程中，每一个通道的特征的重要性都被视为是相同的来参与接下来的计算。SENet将不同特征通道的全局池化信息融合到了神经网络的训练过程中，从而能够利用网络的代价函数来对不同通道的权重进行训练。 网络结构： ...
SEnet论文笔记
qq_30979017的博客
05-22 857
本文来源于：https://blog.csdn.net/wangkun1340378/article/details/79092001 先用一句话总结：SEnet是CVPR 2018年提出的通过建模输入特征的通道间关系，从而得到不同通道c的权重（对于C*H*W的特征，第Ci个维度的H*W空间维度都获得了相同的权重），乘到输入特征上，以获得特征重标定（更好的通道特征注意力的方法）。 已经有很多工...
注意力机制学习笔记一（SENET）
qq_45126707的博客
10-22 421
一.Squeeze-and-Excitation Network（SE-NET） 思路：让神经网络使用全局信息来增强有用的信息，同时抑制无用的信息。 假设：： 其中，，， 令，每一个为一个filter kernel 于是 ,，其中代表卷积运算，此处忽略了bias。 即长为H‘，宽为W’，通道数为C‘的X进入一个block，输出一个长为H，宽为W，通道数为C的U。 Squeeze阶段： 即对输入的u做global avg. pooling，输...
SENet(Squeeze-and-Excitation Network)-ImageNet 2017夺冠架构SENet
peacefairy的博客
09-30 427
原文链接：https://www.cnblogs.com/bonelee/p/9030092.html 我们从最基本的卷积操作开始说起。近些年来，卷积神经网络在很多领域上都取得了巨大的突破。而卷积核作为卷积神经网络的核心，通常被看做是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。卷积神经网络由一系列卷积层、非线性层和下采样层构成，这样它们能够从全局感受野上去捕获图像的特征来进行图像的描述。 然而去学到一个性能非常强劲的网络是相当困难
《深度学习：算法到实战》【第四周】MobileNet V1&V2&V3与ShuffleNet V1与SENet笔记
sunrise_129075的博客
02-08 819
传统的CNN内存消耗大，运算量复杂，无法在各种移动端设备和嵌入式设备运行。MobileNet是为了移动端和嵌入式设备存在的轻量级CNN，与VGG相比它的准确率只下降了0.9%，参数却只有VGG的321​，它的网络结构如下。文中主要是通过Depthwise Convolution（）以及Pointwise Conv（）减少计算量，理论上说，普通卷积的计算量是DW+PW的9倍。DW卷积是在每个channel进行的，PW卷积可以看作使用1∗1的普通卷积将输出的特征图修改成你想要的channel。
SENet-master
10-19
SENet-master，Squeeze-and-Excitation Networks，tensorflow 版本
pytorch SENet实现案例
09-16
主要介绍了pytorch SENet实现案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
SENet-master.zip
09-02
这是关于论文Squeeze-and-Excitation Networks的相关代码值得学习
SENet-PyTorch
05-10
这是SENet的PyTorch实施（在ImageNet数据集上进行训练） 论文： 用法 准备数据 该代码以ImageNet数据集为例。 您可以下载ImageNet数据集，并将其放入如下位置。 由于内存限制，我仅提供ILSVRC2012_dev_kit_t12 ，...
Senet-开源
04-26
Senet是古埃及最受欢迎的游戏之一，现在您也可以玩！ Senet的此版本使用Senet历史学家Timothy Kendall提出的规则。
用GAN网络生成彩票号码
Ephemeroptera的博客
06-11 1743
简单的gan网络实现序列预测
基于深度学习从2D图像中恢复3D图形
weixin_42605076的博客
06-14 498
基于深度学习从二维图像中恢复三维图形，通过构建和训练复杂的神经网络模型，能够有效地从二维图像中提取深度信息和三维结构。尽管面临信息不足、遮挡和视角变化等挑战，但随着深度学习技术的不断进步，三维重建在多个领域展现出了广阔的应用前景。通过数据增强和预处理技术，可以进一步提升三维重建模型的鲁棒性和准确性。
基于深度学习的电池健康状态预测（Python）
weixin_39402231的博客
06-12 276
电池的故障预测和健康管理PHM是为了保障设备或系统的稳定运行，提供参考的电池健康管理信息，从而提醒决策者及时更换电源设备。不难发现，PHM的核心问题就是确定电池的健康状态，并预测电池剩余使用寿命。但是锂电池的退化过程影响因素众多，不仅受其本身工作模式的影响，外部环境的压力、温度等都会影响锂电池的退化。这些影响因素之间的相互耦合，导致锂电池的退化表现出很强的非线性及不确定性，这给SOH估计和RUL预测带来了很大的困难。
tensorRT 自定义算子plugin的实现
@bangbang的博客
06-09 347
实现一个自定义算子, 对输入的x， 先加一个数r,再乘以simport os自定义算子需要实现2个类，分别是算子的实现类, 以及利用实现类构建的算子类是自定义算子的实现类,通过继承父类的方式实现导出自定义算子。继承该父类后需要用户自己实现forward以及symbolic两个静态方法。forward函数: 定义该算子实现的具体代码，其中第一个参数必须是ctx, 后面的参数是实际自己传入的参数。symbolic方法: 由于是自定义的算子，因此需要定义符号函数symbolic，从而让onnx能识别它。
深度学习的点云检测
weixin_42605076的博客
06-12 932
深度学习在点云检测中的应用取得了显著的进展，通过使用各种神经网络架构，能够高效地处理和分析点云数据。尽管面临数据无序性、稀疏性和高维性的挑战，但随着算法和计算资源的不断进步，点云检测技术在多个领域展现出了广阔的应用前景。通过有效的数据增强和预处理技术，可以进一步提升点云检测模型的鲁棒性和准确性。
【数学】什么是马尔可夫链？RNN 与马尔可夫链的联系，马尔可夫链与条件随机场的比较
最新发布
q742971636的博客
06-14 594
马尔可夫链：下一状态仅依赖于当前状态，与之前的状态无关。适合建模具有无记忆性的随机过程。RNN：下一状态依赖于当前输入和之前所有时间步的隐状态。适合建模具有长期依赖关系的序列数据。马尔可夫链：用于建模状态序列的转移概率。隐马尔可夫模型 (HMM)：在马尔可夫链基础上增加了观测数据和隐藏状态之间的关系。条件随机场 (CRF)：直接建模观测数据条件下的状态序列概率分布，适合序列标注任务。
深度学习的点云分割
weixin_42605076的博客
06-10 562
深度学习在点云分割中的应用取得了显著的进展，通过使用各种神经网络架构，能够高效地处理和分析点云数据。尽管面临一些挑战，但随着算法和计算资源的不断进步，点云分割技术在多个领域展现出了广阔的应用前景。
SENET tensorflow
05-24
SENET是一种深度学习网络结构，它可以用于图像分类、目标检测等任务。它的主要特点是引入了一种新的模块——SE模块，通过对不同通道的特征进行加权，进一步提升了网络的性能。SENET TensorFlow是基于TensorFlow框架...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值