SENet（Squeeze-and-Excitation Networks）算法笔记

最新推荐文章于 2024-04-13 13:19:10 发布
最新推荐文章于 2024-04-13 13:19:10 发布
阅读量8w 收藏 532
点赞数 111
分类专栏： 深度学习 计算机视觉 文章标签： 算法 深度学习与计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014380165/article/details/78006626
版权

论文：Squeeze-and-Excitation Networks
论文链接：https://arxiv.org/abs/1709.01507
代码地址：https://github.com/hujie-frank/SENet
PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch

Sequeeze-and-Excitation(SE) block并不是一个完整的网络结构，而是一个子结构，可以嵌到其他分类或检测模型中，作者采用SENet block和ResNeXt结合在ILSVRC 2017的分类项目中拿到第一，在ImageNet数据集上将top-5 error降低到2.251%，原先的最好成绩是2.991%。
作者在文中将SENet block插入到现有的多种分类网络中，都取得了不错的效果。SENet的核心思想在于通过网络根据loss去学习特征权重，使得有效的feature map权重大，无效或效果小的feature map权重小的方式训练模型达到更好的结果。当然，SE block嵌在原有的一些分类网络中不可避免地增加了一些参数和计算量，但是在效果面前还是可以接受的。

也许通过给某一层特征配备权重的想法很多人都有，那为什么只有SENet成功了？个人认为主要原因在于权重具体怎么训练得到。就像有些是直接根据feature map的数值分布来判断；有些可能也利用了loss来指导权重的训练，不过全局信息该怎么获取和利用也是因人而异。

Figure1表示一个SE block。主要包含Squeeze和Excitation两部分，接下来结合公式来讲解Figure1。

这里写图片描述

首先Ftr这一步是转换操作（严格讲并不属于SENet，而是属于原网络，可以看后面SENet和Inception及ResNet网络的结合），在文中就是一个标准的卷积操作而已，输入输出的定义如下表示。

这里写图片描述

那么这个Ftr的公式就是下面的公式1（卷积操作，vc表示第c个卷积核，xs表示第

最低0.47元/天 解锁文章
AI之路
关注
  • 111
    点赞
  • 踩
  • 532
    收藏
    觉得还不错? 一键收藏
  • 23
    评论
专栏目录
【图像分类】用最简短的代码复现SeNet，小白一定要收藏（keras，Tensorflow2
m0_61067876的博客
05-01 1018
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
ResNet-152-model.zip
09-15
这个不是贫僧自己训练的，而是作者给出的模型！其实如果可以翻越长城的话建议自己去作者给出的onedrive（https://onedrive.live.com/?authkey=!AAFW2-FVoxeVRck&id=4006CBB8476FF777!17887&cid=4006CBB8476FF777）那里下载，如果没办法翻阅的话也可以给贫僧发邮件，贫僧收到的话就会打包发给你。
Squeeze-and-Excitation Networks
04-05
Squeeze-and-Excitation Networks的论文，不算比较经典的网络。需要学习，是对其他网络的改进版
【深度学习经典网络架构—8】：注意力机制之SE_Block
王乐予的博客
03-24 1万+
😺一、引言 类似于人脑的注意力感知，那卷积神经网络能否也能产生注意力效果呢？答案是：**可以！** **SE_Block是SENet的子结构**，作者将SE_Block用于ResNeXt中，并在ILSVRC 2017大赛中拿到了分类任务的第一名，在ImageNet数据集上将top-5 error降低到2.251%，比2016年的最好成绩提高了约25%。 论文链接：[Squeeze-and-Excitation Networks](https://arxiv.org/abs/1709.01507) 开源
SENet 阅读
雪招在等开花
12-23 1791
摘要： 卷积神经网络的核心是卷积操作，能够通过在每层使用区域感受野融合空间以及通道维度的信息来构建信息特征。本文里，作者聚焦于通道关系，提出了一个新的结构单元 SE(Squeeze Excitation)block,通过建模通道之间的依赖，适应性地校准通道特征。 相比于现有性能优越的CNN，SENet在只增加轻微复杂度的同时获得了显著的性能提升。 源码：https://github.com/hujie-frank/SENet 论文：[1709.01507] Squeeze-and-Excitat...
深度学习论文阅读图像分类篇（六）：SENet《Squeeze-and-Excitation Networks》
与君共勉，一起学习
04-09 3527
深度学习论文阅读（六）：SENet《Squeeze-and-Excitation Networks》Abstract 摘要1. Introduction 引言2. Related Work 相关工作 Abstract 摘要 Convolutional neural networks are built upon the convolution operation, which extracts informative features by fusing spatial and channel-wise
经典神经网络论文超详细解读（七）——SENet（注意力机制）学习笔记（翻译＋精读＋代码复现）
热门推荐
路人贾的博客
01-05 2万+
SENet论文（《Squeeze-and-Excitation Networks》）超详细解读。翻译＋总结。文末有代码复现
SENet模型原理及代码介绍
最新发布
qq_43449643的博客
04-13 586
SE注意力机制
SENet详解-最后一届ImageNet冠军模型
alex1801
07-19 2544
SENet最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军，也是目前细粒度分类任务的必选基础网络。CNN是通过用局部感受野，基于逐通道基础上，去融合空间信息来提取信息化的特征，对于图像这种数据来说很成功。 为了增强CNN模型的表征能力，许多现有的工作主要用在增强空间编码上，比如ResNet，DenseNet。SENet则主要关注通道上可做点，通过显示的对卷积层特征之间的通道相关性进行建模来提升模型的表征能力；并以此提出了特征重校准机制：通过使用全局信息去选择
SE-Net:Squeeze-and-Excitation Networks论文详解
weixin_47166887的博客
10-27 5633
注意力机制的文章之------通道注意力 SE-Net:Squeeze-and-Excitation Networks论文详解 论文链接：https://arxiv.org/pdf/1709.01507.pdf Github代码：https://github.com/hujie-frank/SENet 注意力机制最早用于自然语言处理(NLP),后来在计算机视觉(CV)也得到广泛的应用，之后注意力机制便被引入来进行视觉信息处理。注意力机制的核心思想就是能够从大量的信息中筛选出重要的信息。注意力机制可以分为通道
SENet代码复现＋超详细注释（PyTorch）
路人贾的博客
01-05 1万+
SENet代码复现（PyTorch），每一行都有超详细注释，新手小白都能看懂，亲测可运行
SE-Net：Squeeze-and-Excitation Networks（CVPR2018）
qihshe的博客
12-19 312
提出了一个SE块，在略微增加计算成本的情况下，为现有最先进的CNNs带来了显著的性能改进
Tensorflow 2.1训练 实战 cifar10 完整代码 准确率 88.6% 模型 Resnet SENet Inception
12-21
环境： tensorflow 2.1 最好用GPU 模型： Resnet：把前一层的数据直接加到下一层里。减少数据在传播过程中过多的丢失。 SENet： 学习每一层的通道之间的关系 Inception: 每一层都用不同的核（1×1，3×3，5×5）来学习.防止因为过小的核或者过大的核而学不到图片的特征。 用Resnet ，SENet， Inceptiont网络训练Cifar10 或者Cifar 100. 训练数据：Cifar10 或者 Cifar 100 训练集上准确率：97.11%左右 验证集上准确率：90.22%左右 测试集上准确率：88.6% 训练时间在GPU上：一小时多 权重大小：21
Squeeze-and-Excitation Networks 论文思维导图
04-07
该资源给出了论文 Squeeze-and-Excitation Networks 整体的思维导图情况，可以更方便的加深对论文的理解与应用，所使用的软件是 XMind zen.
Rock thin sections identification based on improved squeeze-and
11-11
squeeze-and-Excitation Networks（SENet）是一种能够强化不同通道间特征连接的深度学习模型，通过自适应地调整通道间的权重，增强了模型对特征的敏感性和选择性。MaSE-ResNeXt在此基础上进行了优化，引入了分层滤波...
SENet-master.zip
09-02
这是关于论文Squeeze-and-Excitation Networks的相关代码值得学习
SENet-master
10-19
SENet-master，Squeeze-and-Excitation Networks，tensorflow 版本
SENet（Squeeze-and-Excitation Network）注意力机制
吃葡萄不吐葡萄皮
08-23 1248
SENet（Squeeze-and-Excitation Network）是一种用于深度卷积神经网络（CNN）的注意力机制，旨在增强网络在特征通道上的表示能力。它通过学习每个通道的重要性权重，然后使用这些权重来重新加权特征图，从而增强有用信息的表示，抑制不相关信息。的模块，用于在给定的输入特征图上应用SENet注意力机制。在这个阶段，通过一个两层的全连接网络来学习通道的重要性权重。的张量输入到一个全连接层，将通道数压缩到一个较小的值，称为。逐元素相乘，从而获得每个通道上的加权特征图。的张量，与原始特征图。
SENet（Squeeze-and-Excitation Networks）网络详解
zhw864680355的博客
02-20 1万+
论文：《Squeeze-and-Excitation Networks》论文链接：https://arxiv.org/abs/1709.01507  代码地址：https://github.com/hujie-frank/SENet  PyTorch代码地址：https://github.com/miraclewkf/SENet-PyTorch 原文链接：https://blog.csdn....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值