轻量级网络设计-SqueezeNet

最新推荐文章于 2022-10-28 10:36:47 发布
最新推荐文章于 2022-10-28 10:36:47 发布
阅读量393 收藏
点赞数
分类专栏： 神经网络模型加速与压缩 文章标签： 模型加速与压缩 轻量级网络设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oqqwhy555/article/details/94179371
版权
SqueezeNet是一种轻量级深度学习模型，通过使用1x1卷积核和Fire Module来减少参数量，同时保持高精度。在ICLR2017中提出，其设计策略包括减少3x3卷积核的输入通道数和增大激活图。Fire Module包含squeeze和expand部分，实验表明SqueezeNet在精度上可与AlexNet媲美，但网络容量显著降低，适合移动端应用。
摘要由CSDN通过智能技术生成

轻量级网络设计-SqueezeNet

ICLR2017-SqueezeNet

SqueezeNet设计策略

  1. 用1x1卷积核代替3x3卷积核

  2. 减少3x3卷积核的输入通道数

  3. 将采样层之后，以使得卷积层有更大的activation map（作者提到其直观认为更大的激活图可以提供更好的分类精度）

    策略1、2主要是减少参数量，策略3是在此情况下最大化模型精度

Fire Module 模块

SqueezeNet使用Fire Module来代替标准卷积核，Fire Module示意图如下：
Fire Module

  1. 图片中squeeze 部分实现了策略1与策略2，包括替换1x1卷积核与减少输入通道数
  2. 有3个超参数可调节，s1x1, e1x1, e3x3, 分别表示图片中卷积核的个数，一般设置s1x1的值小于(e1x1+e3x3)，使得3x3卷积核的输入通道数减小

SqueezeNet 结构

网络整体结构如下，使用fire module代替标准卷积，

最低0.47元/天 解锁文章
Xie先生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【网络加速】轻量化网络结构设计[一]
菜鸡AI
05-07 1037
文章目录轻量化网络结构设计前言：1、神经网络 over-parameterized2、训练好的神经网络参数冗余3、推理运算需要加速轻量化网络结构设计[一]1、MobileNet v11.1 核心思想1.2 网络结构1.3 宽度缩放因子（width multiplier）1.4 分辨率缩放因子（resolution multiplier） 轻量化网络结构设计 前言： 网络加速作为算法的下游核心，那么为什么要网络加速？对应又有那么操作点？我们先来个概况性的框架。我建议学习新知识或总结归纳知识的时候，一定要有个总
轻量级网络设计-综述
xys430381_1的专栏
12-22 844
ThunderNet | 轻量级实时检测网络 ICCV 2019 | 旷视研究院提出ThunderNet：端上实时的通用物体检测器
深度学习方法（十四）：轻量级CNN网络设计——MobileNet，ShuffleNet，文末有思考
Bin 的专栏
08-25 2万+
本系列前面介绍了非常多卷积网络结构设计，事实上，在inception和resnet网络提出并相对完善以后，网络结构的设计就不再爆发式出现了，这两大类网路涵盖了大部分应用的卷积网络结构。 在本文中，我们来一起看一些最近一年研究较多的轻量级卷积网络结构，这些网络主要的设计目标是——在保证一定的识别精度情况下，尽可能减少网络规模（参数量、计算量）。最直接的设计目标就是用于手机等移动终端中（CPU），让
【深度学习】轻量级神经网络设计思路
聊北辰同学的博客
06-17 2226
【深度学习】轻量级神经网络设计思路 0. 前言 随着深度学习技术在各个领域获得了表现出极大的潜力，但大部分神经网络模型的计算复杂度都使其无法在计算资源受限的情况下（如移动端设备）得到很好的应用，于是，神经网络的轻量化备受关注。那么如何将神经网络模型设计得小型化、轻量化呢？部分研究成果为我们打开了思路，也一定程度上促成了AI技术的推广和落地。 1. 轻量级神经网络设计 轻量级神经网络设计的主要思路： 有限的计算复杂度下实现尽可能高的模型表达能力。 模型表达能力一定程度上同通道数相关，换言之，就是要不过分减
轻量级网络总结
专注人工智能，主攻CV
10-28 6486
总结轻量级网络设计思想
轻量化神经网络篇（SqueezeNet、Xception、MobileNet、ShuffleNet）
01-20
模型轻量化的主要方法包括卷积核分解、深度压缩（网络剪枝、量化、哈弗曼编码）、奇异值分解、硬件加速器以及低精度浮点数保存等。这些方法的目标是降低模型的存储需求和计算复杂性，使其更适合在资源有限的环境如...
轻量化神经网络之SqueezeNet ONNX 文件
04-29
SqueezeNet是一款轻量级的卷积神经网络（CNN），在2016年由斯坦福大学的研究人员提出，它旨在实现与AlexNet相似的准确率，但模型大小却只有其1/50。SqueezeNet的名称源于其核心操作——挤压（squeeze）操作，它通过...
【深度学习】轻量级神经网络 SqueezeNet 讲解
frank 的专栏
12-13 2万+
在深度学习领域，人们一般把注意力集中在如何提高神经网络的准确度上，所以，神经网络的层次越来越深，参数也越来越多，但带来的问题就是神经网络对于硬件的要求越来越高，但在嵌入式硬件上比如手机、自动驾驶的计算平台，这将很吃力，所以，有一些人会将精力放在如何精简和优化网络模型上，以便它们能够比较顺利运行在硬件条件有限的嵌入式设备上面。 而 SqueezeNet 就是一种精简化的轻量级的卷积神经网络结构。 小...
深度学习-轻量级骨干网-QPS
最新发布
05-06
- 降低访存量成为轻量级网络研究的一个重点方向。 在选择轻量级骨干网时，除了考虑模型的计算量（FLOPs或MACs）外，还需要综合评估模型的QPS、GPU利用率、内存占用、并行度等因素。对于实际业务来说，模型的部署...
轻量级工作流引擎的设计与实现
hjt79的专栏
08-15 8654
第一章  引  言1.1 轻量级工作流引擎的概念 轻量级的工作流引擎指的是从够用、灵活和低成本的设计原则出发，不追求工作流引擎的功能的完备和复杂，只是实现其中必不可少的功能和特征。在设计工作流引擎时主要考虑对其数据模型的定义和解释、活动之间的协调以及任务的分配和控制等功能提供支持，而不支持诸如提供内建（built-in）的应用开发工具、对应用资料的定义和完整性维护、完善的异常处理以及长事务
轻量级网络整理
c_watermelon_y的博客
12-18 385
1. SqueezeNet  2016 Stanford University, DeepScale & UC Berkeley 2. MobileNet v1 2017 Google 3. ShuffleNet 2017 Face++ （性能和速度超MobileNet v1） 4. MobileNet v2 2018.04 Google 5. ShuffleNet V2 2018...
知识蒸馏和紧致网络
一路狂奔的猪的博客
03-30 760
重要链接： 深度学习模型压缩与优化加速 深度神经网络的压缩与加速的主要方法有：参数剪枝、参数共享、低秩分解、紧性卷积核设计、知识蒸馏 知识蒸馏：迁移学习的一种，目的是将庞大网络学到的知识转移到小的网络模型上，即不改变网络复杂度的情况下，通过增加监督信息的丰富程度来提升性能。 关键点：1.知识获取 2.知识转移 常见集中思想： 1. softmax层的输入比类别标签包含更多的监督...
【轻量级】轻量级网络结构总结
Jinming Su
05-02 1万+
Depthwise-Wise convolutions是最近两年比较火的一种模块结构。这个结构第一次出现是在一篇博士论文中，L. Sifre. Rigid-motion scattering for image classification. hD thesis, Ph. D. thesis, 2014. 功力可想而知… SqueezeNet SqueezeNet: AlexNet...
【论文阅读】【ICLR 2017】SqueezeNet AlexNet-level accuracy with 50x fewer parameters and 0.5MB model size
hyfine
09-19 1408
SqueezeNet AlexNet-level accuracy with 50x fewer parameters and 0.5MB model size SqueezeNet 是一种网络结构，准确率与AlexNet相当（ImageNet数据集上），但参数量减少50倍。 同时，该网络通过压缩技术可以小于0.5mb，比AlexNet小510倍 本文主要内容： 介绍related wor...
14种轻量级网络综述 — 主干网络篇
3D视觉工坊
07-29 1万+
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨VincentLee来源丨晓飞的算法工程笔记编辑丨极市平台导读早期的卷积神经很少考虑参数量和计算量的问题，由此轻量级网络诞生，...
网络安全公司奇安信集团是如何基于 Flink 构建 CEP 引擎实时检测网络攻击【未来不可忽视的网络安全】
乔治大哥的博客
03-15 3051
或许提到奇安信，大家听多了，bat，或许不太关注，那么使用过码云，也就是我们国内的github的同志，或许就有点印象来了。 一个仓库的统计下面的一个连接，就是奇安信代码卫士！ 随着互联网的高速发展，网络安全越发重要。其余的就不多说了，我们看正题： 摘要：奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本...
【论文】轻量级网络squeezenet论文的详细翻译
u013044310的博客
05-06 6459
前言： 整体上翻译了squeezenet：AlexNet-level accuracy with 50X fewer paramenters and 0.5MB model size.这篇论文，便于英文基础不好的同行进行阅读，由于时间仓促，难免有很多错误，请在评论区指出错误并提出宝贵意见，我会及时修正。 论文地址：aqueezenet论文 SQUEEZENET: ALEXNET-级别精度...
SqueezeNet详细解读
热门推荐
花有重开日 人无再少年
11-29 5万+
概要：SqeezeNet的工作为以下几个方面： 1. 提出了新的网络架构Fire Module，通过减少参数来进行模型压缩 2. 使用其他方法对提出的SqeezeNet模型进行进一步压缩 3. 对参数空间进行了探索，主要研究了压缩比和$3*3$卷积比例的影响
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值