学习笔记：SqueezeNet 精度同Alexnet（压缩后0.47M VS 240M）

最新推荐文章于 2024-05-19 09:30:23 发布
最新推荐文章于 2024-05-19 09:30:23 发布
阅读量371 收藏 2
点赞数
分类专栏： # 图像分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44523062/article/details/105325984
版权

（重在实验总结发现思考）
轻量化网络经典三个：
Squeezenet 压缩扩张 Fire Module
MobileNet Depthwise 深度可分离卷积
ShuffleNet 通道清洗
今天读Squeezenet
Squeeze Net： Alexnet-level accuracy with 50X fewer parameters and <0.5MB model size , Forrest N.Iandoal, Song Han，2017年

创新

Squeezenet 是一个精心设计的轻量化网络，使用常见的压缩技术：SVD、Pruning和量化8-bit quantization，进一步压缩模型而不损失精度。其广泛用于移动端物体检测。
（一开始就用小模型训练 比 大模型剪枝pruning成小模型要 效率高的多）
在这里插入图片描述

1 小模型的好处

  • 1 更高效地分布训练
  • 2 云端更新模型参数更快速
  • 3 小的存储和内存使用量 易应用于FPGA 现场可编程门阵列

2 神经网络设计空间探索

  • 1 微观探索：每个层的维度和配置
    cnn结构对模型大小和精度的影响
    同等参数量 ： 深且窄模型 好于 宽且浅模型
  • 2 宏观探索：端到端组织模块或其他层
  • 在这里插入图片描述

3 SqueezeNet高精度少参数策略

3.1 创新策略

  • 1 降低参数：用11卷积核代替33 （9x降低）
  • 2 降低参数：减少输入通道数量 use Squeeze layer （1*1卷积）
    • 参数计算 input chanels * ker-sizes 平方 * filters nums
  • 3 下采用后置：使得特征图大且丰富
    • 使用多个尺寸的卷积核计算，保留更多的信息，提升分类精度

3.2 Fire Module

在这里插入图片描述
每个Fire module有三个超参数
1 输入通道（96）用fire的M（M<96) 个 11卷积降低维度
2 Expand 并行使用11和3*3卷积获得不同感受野的特征图（类似inception—）
3 Concat：对特征图拼接

3.3Sqeeze net (输入224*224）

在这里插入图片描述
左边没有用bypass，中间bypass，右边是复杂的bypass
这个模块已经被以下框提供函数
在这里插入图片描述

4评估

在这里插入图片描述
这里说明一点：Squeezenet是小模型但是还可以量化压缩但精度几乎没有影响
在这里插入图片描述

AIchiNiurou
关注
专栏目录
gromacs拉伸分子动力学模拟学习笔记之mdp文件-charmm36-2022力场
04-02
本学习笔记主要聚焦于使用GROMACS进行拉伸分子动力学模拟，并涉及到mdp文件的配置，特别是针对CHARMM36-2022力场的应用。 一、mdp文件详解 mdp（Molecular Dynamics Parameters）文件是GROMACS的核心配置文件，用于...
《SqueezeNet--AlexNet级精度，参数减少50倍，模型大小小于0.5MB》论文笔记
JR_Chan的博客
09-05 1930
SqueezeNet  SqueezeNet是较早出现的轻量化网络之一，该文章2016年的时候就挂了出来，然后投了ICLR 2017，不过被拒了。。。原文可见SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size。 摘要  最近对深度卷积神经网络（CNNs）的研究主要集中在提高精度...
【读点论文】SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND ＜0.5MB MODEL SIZE
白水空空
05-09 981
SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE ABSTRACT 最近对深度卷积神经网络(CNN)的研究主要集中在提高准确性上。对于给定的精度水平，通常可以识别出多个达到该精度水平的CNN架构。 在同等精度的情况下，较小的CNN架构至少提供了三个优点: (1)较小的CNN在分布式训练期间需要较少的跨服务器通信。 (2)较小的CNN需要较少的带宽来从云中向自动驾驶汽车导出新模型。
深度学习_经典网络_SqueezeNet详解
欢迎大家关注我
05-05 1209
SqueezeNet论文地址 论文中作者在保证精度不损失的同时，将原始AlexNet压缩至原来的510倍。 SqueezeNet的核心指导思想是——在保证精度的同时使用最少的参数。 这也是所有模型压缩方法的一个终极目标。 设计思想 用1×11\times 11×1卷积核代替3×33\times 33×3卷积核。理论上一个1×11\times 11×1卷积核的参数是一个3×33\times 33×...
AlexNet 论文精度，以及解析网络模型结构
Flying Bulldog 的博客
06-19 1753
《ImageNet Classification with Deep Convolutional Neural Networks》网络模型的名称由来：第一作者的名字 Alex Krizhevsky我们训练了一个大型的深度卷积神经网络，将ImageNet LSVRC - 2010竞赛中120万幅高分辨率图像分类到1000个不同的类中。在测试数据上，我们分别取得了37.5 %和17.0 %的前1位和前5位错误率，明显优于以往的先进水平。该神经网络包含6000万个参数和65万个神经元，由5个卷积层组成，其中部分卷
【10分钟掌握深度学习17】模型压缩及移动端部署2
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
04-04 1120
增多3*3的卷积的分支的数量，使它与1*1的卷积的输出通道数相等，此时每个3*3的卷积只作用与一个通道的特征图上，作者称之为“极致的Inception（Extream Inception）”模块，这就是Xception的基本模块。即采用先压缩，后扩张的方式。MobileNet采用DW conv提取特征，由于DW conv本身提取的特征数就少，再经过传统residuals block进行“压缩”，此时提取的特征数会更少，因此inverted residuals对其进行“扩张”，保证网络可以提取更多的特征。
SqueezeNet网络讲解
急流勇进
03-27 7201
原文地址：https://zhuanlan.zhihu.com/p/31558773 引言 SqueezeNet是Han等提出的一种轻量且高效的CNN模型，它参数比AlexNet少50x，但模型性能（accuracy）与AlexNet接近。在可接受的性能下，小模型相比大模型，具有很多优势：（1）更高效的分布式训练，小模型参数小，网络通信量减少；（2）便于模型更新，模型小，客户端程序容易更新；...
MATLAB学习笔记：m文件封装jar包.pptx
08-20
介绍在MATLAB中将m文件封装为jar包,以供在Java中调用。
配套学习资料：Java开发 - 尚硅谷JavaWeb学习笔记
最新发布
06-22
学习笔记请看我写的文章： Java开发 - 尚硅谷JavaWeb学习笔记 - Part1： https://blog.csdn.net/qq_63317769/article/details/139883728 Java开发 - 尚硅谷JavaWeb学习笔记 - Part2： Java开发 - 尚硅谷JavaWeb...
Linux学习笔记（四）：信息量、同步、互斥和网络编程
01-06
Linux学习笔记（一） Linux学习笔记（二） Linux学习笔记（三）：函数、文件IO和线程 目录复习结构体：struct文件I/O:线程：主要学习内容信号量同步：按照一定的顺序有序的执行互斥：抢资源；谁先抢到资源就谁先执行...
demo_nn_compress:这是一个将AlexNet从233MB压缩到8.9MB的演示，而没有任何accyacy损失
05-09
demo_nn_compress 这是一个将AlexNet从233MB压缩到8.9MB的演示，而没有任何准确性损失。 用法： export CAFFE_ROOT=$your caffe root$ python decode.py bvlc_alexnet_deploy.prototxt compress.net $CAFFE_ROOT/alexnet.caffemodel cd $CAFFE_ROOT ./build/tools/caffe test --model=models/bvlc_alexnet/train_val.prototxt \ --weights=alexnet.caffemodel --iterations=1000 --gpu 0
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB .pdf
12-20
Recent research on deep convolutional neural networks (CNNs) has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple CNN architectures that achieve that accuracy level. With equivalent accuracy, smaller CNN architectures offer at least three advantages: (1) Smaller CNNs require less communication across servers during distributed training. (2) Smaller CNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller CNNs are more feasible to deploy on FPGAs and other hardware with limited memory.
asp-net学习笔记.pdf
11-17
asp-net学习笔记.pdf
标题：深度压缩AlexNet - 让AI模型更小，更快，更强！
gitblog_00030的博客
05-19 347
标题：深度压缩AlexNet - 让AI模型更小，更快，更强！ Deep-Compression-AlexNetDeep Compression on AlexNet项目地址:https://gitcode.com/gh_mirrors/de/Deep-Compression-AlexNet 1、项目介绍 深入压缩（Deep Compression）是一个开源项目，它展示了如何将著名的Alex...
SqueezeNet详细解读
热门推荐
花有重开日 人无再少年
11-29 5万+
概要：SqeezeNet的工作为以下几个方面： 1. 提出了新的网络架构Fire Module，通过减少参数来进行模型压缩 2. 使用其他方法对提出的SqeezeNet模型进行进一步压缩 3. 对参数空间进行了探索，主要研究了压缩比和$3*3$卷积比例的影响
轻量化网络：SqueezeNet
人工智能技术学习与分享
12-27 2万+
SqueezeNet 发表于ICLR-2017，作者分别来自Berkeley和Stanford，SqueezeNet不是模型压缩技术，而是 “design strategies for CNN architectures with few parameters” 创新点: 1. 采用不同于传统的卷积方式( 类似于inception思想) ，提出fire module；fire module包含...
从AlexNet到squeezenet
年轻即出发，
02-13 3426
squeezenet出自2016论文SQUEEZENET:ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND squeezenet主要提出了FireModule概念，如上图所示，一个FireModule由一个squeeze和一个expand组成，squeeze包含s个1*1的卷积核，expand包含e1个1*1的卷积核，e3个3*3
SqueezeNet: Alexnet-level accuracy whith 50x Fewer Parameters And < 0.5MB Model Size
我的博客
12-30 2152
论文阅读：SqueezeNet一种新的网络结构，作者将其成为SqueezeNet，该模型大小上远小于AlexNet为参数所占空间大约是AlexNet的50分之一，但其效果相对与AlexNet没有下降。此外该模型可以使用前面提到的Deep Compression方法继续压缩使其参数占用空间大小小于0.5MB并且不损失精度
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB model size阅读笔记
Jiajun的博客
03-03 5986
文章链接，http://arxiv.org/abs/1602.07360 代码链接，https://github.com/DeepScale/SqueezeNet 目前文章还是第一版，所以内容上不是很多。摘要先提了在相同精确度下，体积更小的深度神经网络有着以下3点好处。 Smaller DNNs require less communication across servers dur
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值