「Deep Learning」Note on SqueezeNet（挤压网络）

最新推荐文章于 2024-01-02 12:34:51 发布
最新推荐文章于 2024-01-02 12:34:51 发布
阅读量403 收藏 1
点赞数
文章标签： 小锋子 深度学习 高效网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgyuanshaofeng/article/details/80195971
版权

QQ Group: 428014259
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/80195971

作者：Forrest N. Iandola, Song Han, Matthew W. Moskewicz, Khalid Ashraf, William J. Dally, Kurt Keutzer
单位：DeepScale; UC Berkeley; Stanford University

0 摘要

对于给定准确率水平，存在不同结构的卷积网络。小卷积网络结构至少具有三点好处：1、需要较小通信communication；2、需要较小带宽bandwidth；3、更为可行地部署在FPGA或者其它硬件上。提出SqueezeNet，其达到AlexNet水平的准确率，但小50倍参数量。【如果AlexNet有100MB，那么SqueezeNet仅具有2MB】另外，如果采用模型压缩技术model compression，那么可获得0.5MB的SqueezeNet，其比AlexNet小510倍。

1 介绍和动机

详细介绍摘要里面的三点好处。
属于人工搜索卷积网络结构。

2 相关工作

2.1 模型压缩

Denton等人采用SVD压缩预训练卷积模型。【第一层卷积和全连接层】
Han等人提出Network Pruning。【低于权重阈值的参数置零-稀疏卷积网络迭代】
Han等人提出Deep Compression。

2.2 卷积网络微型结构

卷积核是3D的，具有高、宽和通道。
GoogLeNet使用Inception modules。
作者把building blocks或modules称为卷积网络微型结构。

2.3 卷积网络大型结构

就是整个卷积网络。
把Residual Networks和Highway Networks的跳跃结构称为bypass connections。

2.4 神经网络设计空间探索

3 SqueezeNet 挤压网络

3.1 设计策略

介绍设计策略，引入Fire module，设计策略+Fire module构建SqueezeNet。
策略1：利用 1 × 1 1 \times 1 1×1滤波器替代 3 × 3 3 \times 3 3×

最低0.47元/天 解锁文章
小锋子Shawn
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SENet.mxnet:挤压和激励网络（SE-ResNext，SE-Resnet，SE-Inception-v4和SE-Inception-Resnet-v2）的MXNet实现。
04-28
SENet.mxnet 挤压和激励网络的MXNet实现（ SE-ResNext 18,50,101,152，SE-Resnet，SE-Inception-v4和SE-Inception-Resnet-v2 ） 这是的挤压和激发网络（ SE-ResNext，SE-Resnet，SE-Inception-v4和SE-Inception-Resnet-v2 ）体系结构，如提出的。等al。 他们在SENet中部署了此SE块，并赢得了Imagenet 2017分类任务。 作者的caffe实现可在GitHub的中找到。 这是“挤压和激励”块的图示。 SE-ResNet模块的实现如下： SE-ResNext 50的实现如下表所示： 此MXNet实现。 我还从了。 顺便说一句，我在最后一个FullyConnected层之前添加了一个辍学层。 对于Inception v4，我从引用了MXnet
Laboratory Alarm System Based on Deep Learning
最新发布
07-04
Laboratory Alarm System Based on Deep Learning
挤压网络SqueezeNet
ANDY
06-21 618
卷积神经网络一般规模较大，参数较多，比如AlexNet总共8层，65万个神经元和6000万个参数。其他网络，像VGGNet,ResNet和DenseNet等，还可能更复杂，简化模型结构，压缩模型的参数，就成为改进卷积神经网络的必要问题。 为了利用较少的网络参数获得相近的性能，landola等人提出了一种压缩结构，所产生的结果称为挤压网络SqueezeNet。这种结构对卷积神经网络进行结构压缩，遵循下面3个基本的设计测略： 使用1X1卷积核代替3X3卷积核 减少3X3卷积核的输入通道数量 推后下采样，增大卷
【挤压-激励-网络】Squeeze-Excitation-Networks
qq_31828933的博客
10-26 629
SE构建块的基本结构如下图所示：对于任意给定的变换,我们就可以构造一个SE模块来重新校准，特征U首先通过挤压Squeeze操作，跨越空间维度W*H聚合特征响应来产生通道描述符。之后是激励Excitation操作，通过依赖性的自门机制为每个通道学习特征采样激活，控制每个通道的激励。然后特征映射U重新加权生成SE块输出，此输出可以直接输入到后面的层中。
如何将对方挤下网络
点点的博客
10-08 1006
一、首先知道别人测MAC地址，与WiFi或者网线的地址。 二、进行修改MAC地址。 三、下载地址：https://technitium.com/tmac/ 四、什么是TMAC Technitium MAC地址转换器允许您立即更改（欺骗）网络接口卡（NIC）的媒体访问控制（MAC）地址。它具有非常简单的用户界面，并提供有关机器中每个NIC的充足信息。每个NIC都有一个由制造商在其电路中硬编码的MAC...
机器人快速抓取检测的多尺度空间金字塔残差挤压激励网络
天道酬勤
01-05 2057
Residual Squeeze-and-Excitation Network with Multi-scale Spatial Pyramid Module for Fast Robotic Grasping Detection 会议：（ICRA 2021年） 论文链接 摘要         提出了一种利用300×300深度图像作为输入的高效全卷积神经网络来生成机器人抓取。具体而言，引入了残差–挤压–激励网络（RSEN）进行深
Deep Learning.rar
04-22
本资料来源于Coursera上的"Deep Learning"专项课程，由著名华人科学家吴恩达教授主讲，其中重点介绍了卷积神经网络（Convolutional Neural Networks，简称CNN）的相关知识。 吴恩达，作为全球领先的机器学习专家，...
keras-squeezenet：使用Keras框架实现SqueezeNet
02-06
keras-squeezenet 使用Keras Functional Framework 2.0的SqueezeNet v1.1实现该具有AlexNet精度，且占用空间小（5.1 MB）。 # Most Recent Onepip install git+...
[Deep Learning] 神经网络基础 .pdf
06-11
[Deep Learning] 神经网络基础 .pdf[Deep Learning] 神经网络基础 .pdf[Deep Learning] 神经网络基础 .pdf[Deep Learning] 神经网络基础 .pdf[Deep Learning] 神经网络基础 .pdf[Deep Learning] 神经网络基础 .pdf...
deep learning on mobile
07-12
It is a good book for deep learning and edge computing.
pytorch--SENet:挤压与激励网络的重新实现
03-17
### Squeeze-和-Excitation Networks实施（pytorch） 为了训练 python main.py # argparser Default --print_freq 32 --save_dir ./save_model/ --save_every 10 --lr 0.1 --weight_decay 1e-4 --momentum 0.9 --Epoch 80 --batch_size 128 --test_batch_size 100 --cutout True --n_masks 1 --length 16 结果 resnet（来自yeonsu存储库） SE + resnset（此代码） SEresnet +切口（此代码）（切口长度：16） 顶部-1个错误 6.27 6.15 4.76 前处理 资料扩充 填充4像素 随机32 x 32裁切
SqueezeNet模型文件及使用
03-15
SqueezeNet是一个小型化的网络模型结构，在保证不降低检测精度的同时，将原始AlexNet模型压缩至原来的1/500（模型文件< 0.5MB,原始AlexNet模型约为200MB）。
Squeeze-and-Excitation Networks(挤压和激励网络)
TJMtaotao的博客，高校计算机教师
05-31 1万+
Squeeze-and-Excitation Networks ie Hu[0000−0002−5150−1003] Li Shen[0000−0002−2283−4976] Samuel Albanie[0000−0001−9736−5134] Gang Sun[0000−0001−6913−6799] Enhua Wu[0000−0002−2174−1428] Abstract 卷积神经网络（CNNs）的核心构造块是卷积算子，它使网络能够通过融合各层局部感受野中的空间和信道信息来构造信息特征。.
励磁涌流_挤压励磁网络简介
weixin_26711867的博客
10-13 296
励磁涌流Squeeze-and-Excitation Networks (SENet) were the winners of the Imagenet Classification Challenge in 2017, surpassing the 2016 winners by a relative improvement of around 25%. SENets introduced a ...
Squeeze-and-Excitation Networks
LYKymy的博客
08-01 1041
Abstract 卷积神经网络（CNN）的中心构建块是卷积运算符，它使网络能够通过在每层的局部接收域内融合空间和信道方式信息来构建信息特征。大量先前的研究已经研究了这种关系的空间组成部分，试图通过提高整个特征层次中空间编码的质量来增强CNN的表征能力。 在这项工作中，我们将重点放在通道关系上，并提出一个新颖的架构单元，我们称之为“挤压 - 激发”（SE）块，通过明确地建模通道之间的相互依赖性来...
【深度学习：SENet】信道注意力和挤压激励网络（SENet）：图像识别的新突破
欢迎来到最优秀的博客
01-02 1589
挤压和激励网络（SENets）为卷积神经网络（CNN）引入了一个新的构建模块，该模块能在几乎不增加计算成本的情况下，显著改善通道间的相互依赖性。这些新的值现在可以作为原始特征图的权重，根据它们的重要性调整每个通道。您需要了解的是，在创建输出特征图时，网络对其每个通道的权重是相等的。较低层次的网络可以检测简单的上下文特征，如边缘或纹理，而较高层次则能识别人脸、文字或其他复杂的几何形状。例如，在图像识别任务中，通过集成SE模块，模型能更准确地识别图像中的关键对象。但事实上，实现SE块的过程是直接且简洁的。
轻量化网络：SqueezeNet
热门推荐
人工智能技术学习与分享
12-27 2万+
SqueezeNet 发表于ICLR-2017，作者分别来自Berkeley和Stanford，SqueezeNet不是模型压缩技术，而是 “design strategies for CNN architectures with few parameters” 创新点: 1. 采用不同于传统的卷积方式( 类似于inception思想) ，提出fire module；fire module包含...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值