SqueezeNext | 轻量级深层神经网络

最新推荐文章于 2022-12-24 21:22:28 发布
最新推荐文章于 2022-12-24 21:22:28 发布
阅读量1.3k 收藏 6
点赞数
分类专栏： 深度学习论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiu931110/article/details/86586697
版权

SqueezeNext网络于2018粘月公开于arxiv，它号称是基于SqueezeNet进行改进的又一轻量级网络，但它之所以不叫SqueezeNet V2，个人认为究其原因还是因为SqueezeNext其实本质上和SqueezeNet关系不是很大。。。SqueezeNext文章中比较有特色的是论文从硬件角度来分析提升速度，当然本文中对这一部分不做分析。本文主要介绍SqueezeNext的网络设计和整体结构。

论文链接:https://arxiv.org/abs/1803.10615
代码链接(Caffe):https://github.com/qiu931110/SqueezeNext
代码链接(TensorFlow):https://github.com/Timen/squeezenext-tensorflow
代码链接(Pytorch):https://github.com/osmr/imgclsmob

1.SqueezeNext网络结构

SqueezeNext整体网络结构如下图所示，论文作者通过加深和加宽网络来提升网络性能，因此SqueezeNext有很多种策略。如下图是baseline（1.0_SqNxt_23）的结构图。

上图网络中各个层的

最低0.47元/天 解锁文章
yuanCruise
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
轻量级(LightWeight)卷积神经网络
程序员光剑
07-12 1130
卷积神经网络被广泛应用在图像分类、目标检测等视觉任务中，并取得了巨大的成功。然而，卷积神经网络通常需要较大的运算量和内存占用，在嵌入式设备等资源受限的环境中受到限制，因此需要进行网络压缩。是网络压缩的一种方法，旨在设计计算复杂度更低的网络结构。从的角度考虑，卷积层提取的特征存在冗余，可以设计特殊的卷积操作，减少卷积操作的冗余，从而减少计算量。从的角度，模型推理过程中存在大量乘法运算，而乘法操作(相比于加法)对于目前的硬件设备不友好，可以对乘法运算进行优化，也可以减少计算量。
SqueezeNet详细解读
热门推荐
花有重开日 人无再少年
11-29 5万+
概要：SqeezeNet的工作为以下几个方面： 1. 提出了新的网络架构Fire Module，通过减少参数来进行模型压缩 2. 使用其他方法对提出的SqeezeNet模型进行进一步压缩 3. 对参数空间进行了探索，主要研究了压缩比和$3*3$卷积比例的影响
SqueezeNet | 轻量级深层神经网络
yuanCruise
01-21 1335
SqueezeNet的作者来自Berkeley和Stanford，论文的题目毫无学术气息，且有一股浓烈的网络爆文感。SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. 论文的题目直接的表达了论文的结果，实现了与AlexNet相同精度，但只用了1/50的参数量。且模型的参数量最少...
SqueezeNext
只想买把蝴蝶knife
01-26 1457
SqueezeNext:Hardware-AwareNeuralNetworkDesign 这是squeezenet 的升级版，俗称squeezenet V2版本 在论文中作者指出SqueezeNext参数量是比VGG16少了112倍的参数但有与之匹配的准确率，而对于VGG19来说 可以实现4.4M参数即可实现相同的准确率，同时文章也与squeezeNet进行比较，发现其baseline模型是有2.59倍快， block分析： 这是原文中的图，左边为Resnet block,而中间为squeezeNet
轻量级神经网络架构综述,神经网络设计与实现
aifans_bert的博客
09-04 331
那里是隐私的储藏地点。他们不仅是可以识别计策的，还是具有分辨计策的能力的，因此必须留心别进入他们的世界，以免变得面目全非。而最后，输出层生成最终结果，每个输出单元会对应到某一种特定的分类，为网络送给外部系统的结果值，，整个网络由调整链接强度的程序来达成学习的目的。单元以层的方式组，每一层的每个神经元和前一层、后-层的神经元连接，共分为输入层、输出层和隐藏层，三层连接形成一-个神经网络。神经的联系来源于突触，但是这是复杂的，因此不要把他们变的简单化，因为这将把神经变的难以显现。他们没有真正的思考，而是计算。
lightnet matlab,轻量级Matlab深度学习框架LightNet的实现
weixin_35668158的博客
03-19 2315
项目说明及论文摘要：LightNet 是一个轻量级的、多功能的、纯粹的基于 Matlab 的深度学习框架。其设计的目的是为深度学习研究提供一个易于理解、易于使用和高效的计算平台。LightNet 实现的框架支持主要的深度学习架构，例如多层感知网络(MLP)、卷积神经网络(CNN)和循环神经网络(RNN)。LightNet 支持 CPU 和 GPU 进行计算，而且它们之间的切换也非常容易。计算机视觉...
SqueezeNext.PyTorch:重新实现纸张
05-11
SqueezeNext：硬件感知神经网络设计 介绍 这些代码是用于纸张的重新实现版本：SqueezeNext：硬件感知神经网络设计。 （SqueezeNext） Gholami A，权K，吴B等。 SqueezeNext：硬件感知神经网络设计[J]。 我们从实施这项工作。 结构 在这里，我们通过使用两级挤压层来使用后一种方法的变体。 在每个SqueezeNext块中，我们使用两个瓶颈模块，每个模块将通道大小减小2倍，然后进行两个可分离的卷积。 我们还集成了最终的1×1扩展模块，该模块进一步减少了可分离卷积的输出通道数量。 要求 jupyter笔记本 Python3 PyTorch 0.4 结果 我们只是在三个数据集中测试了四个模型：Cifar10，Cifar100和 Cifar-10 楷模 火车（Top-1） 验证（Top-1） 宽度 深度 SqNxt_23_1x 98.7
ThunderNet | 轻量级实时检测网络
yuanCruise
03-29 1万+
旷视科技：据我们所知，ThunderNet实现了ARM平台上的第一个实时检测器和最快的单线程速度。 论文地址 代码即将开源 一：网络整体介绍 ThunderNet的整体架构如下图所示。 ThunderNet使用320×320像素作为网络的输入分辨率。整体的网络结构分为两部分：Backbone部分和Detection部分。网络的骨干部分为SNet，SNet是基于ShuffleNetV2进行修改得...
改进的轻量化网络在图像识别上的应用
weixin_43193894的博客
11-13 1071
改进的轻量化网络在图像识别上的应用 摘 要: 针对卷积神经网络在图像识别任务上模型复杂度大、参数量多，提出了一种轻量化的SepNet网络结构，该结构在分类器模块上采用克罗内克积替换了传统的全连接层。然后在特征提取模块均衡网络深度、宽度，设计了一个利用深度可分离卷积和残差网络的可分离残差模块，最终形成了一个能实现端到端训练的轻量化网络架构，称为sep_res18_s3。实验分别在MNIST、CIFAR-10数据集上进行训练，设计的SepNet网络结构相比同类型的VGG网络，参数数量最多降低了近17倍而不损失
轻量化神经网络卷积设计研究进展
qq_61890005的博客
12-24 996
为此,以近几年流行的轻量化神经网络中的卷积部分为研究对象,详细比对了各类轻量化模型中卷积构成方式的区别,并针对卷积设计的主要思路和特点进行了较为详细的阐述。然后,将卷积分为卷积结构轻量化、卷积模块轻量化和卷积运算轻量化三方面进行介绍,具体通过对各类轻量化神经网络模型中卷积设计的研究,来展示不同卷积的轻量化效果,并对其中优化方法的优缺点进行阐述;卷积的轻量化主要分为卷积结构轻量化、卷积模块轻量化以及卷积运算轻量化三方面。深度可分离卷积将常规三维卷积分解为二维空间的深度卷积和修改通道个数的逐点卷积。
轻量级神经网络SqueezeNext--考虑硬件提速
panghuzhenbang的博客
05-06 1057
文地址：2018 arXiv 《SqueezeNext: Hardware-Aware Neural Network Design》 软硬件兼施，神经网络需要大的内存和计算资源是将其部署到嵌入式设备上的最大障碍。整体上来看，神经网络设计的主流趋势是在不考虑计算复杂度的情况下设计更深更大的网络以获取更好的性能。这种设计思路基于嵌入式设备的计算能力和内存会不断发展以支持这些复杂模型的实时运行。但是，由于半导体处理芯片的发展速度缓慢，在有限资源条件下达到上述计算要求貌似不是很现实。因此，出现了两种新的设计思路
SqueezeNet/SqueezeNext简述 | 轻量级网络
晓飞的算法工程笔记
07-02 646
SqueezeNet系列是比较早期且经典的轻量级网络，SqueezeNet使用Fire模块进行参数压缩，而SqueezeNext则在此基础上加入分离卷积进行改进。虽然SqueezeNet系列不如MobieNet使用广泛，但其架构思想和实验结论还是可以值得借鉴的。   来源：晓飞的算法工程笔记 公众号 SqueezeNet 论文: SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size .
第四章_经典网络
weixin_42631192的博客
11-12 477
文章目录第四章 经典网络4.1 LeNet54.1.1 模型结构4.1.2 模型结构4.1.3 模型特性4.2 AlexNet4.2.1 模型介绍4.2.2 模型结构4.2.3 模型解读4.2.4 模型特性4.3 可视化ZFNet-转置卷积4.3.1 基本的思想及其过程4.3.2 卷积与转置卷积4.3.3 卷积可视化4.3.4 ZFNet和AlexNet比较4.4 VGGNet4.4.1 模型结构...
轻量化网络：SqueezeNext
人工智能技术学习与分享
06-05 4685
《SqueezeNext: Hardware-Aware Neural Network Design》 于2018年3月公开在arXiv(美[ˈɑ:rkaɪv]) ：https://arxiv.org/abs/1803.10615 SqueezeNext是基于SqueezeNet进行改进的一种轻量化网络。 该论文是一篇“软硬兼并”的轻量化网络论文，以往的论文大多都只讲了网络如何设计，并没有...
[Intensive Reading]轻量化网络：SqueezeNet模型网络结构
zhangxu
10-14 2795
SqueezeNet是轻量化网络的代表结构之一，其针对ImageNet数据集分类任务的模型大小只有4.8M，这还包括了最后512*1000分类的全连接层。 An Analysis of Deep Neural Network Models for Practical Applications 网络结构 首先把caffe关于SqueezeNet的结构定义deploy.prototxt中的内...
14种轻量级网络综述 — 主干网络篇
3D视觉工坊
07-29 1万+
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨VincentLee来源丨晓飞的算法工程笔记编辑丨极市平台导读早期的卷积神经很少考虑参数量和计算量的问题，由此轻量级网络诞生，...
模型压缩中的低秩分解
fruit的博客
09-13 7499
因为传统训练好的卷积核存在着低秩特性，因此常用的压缩方法里就会采用低秩分解(SVD)的方法进行压缩，但时这种压缩存在一些不足： 若卷积核不低秩，那压不了呗 即使是低秩的，压缩之后精度受损，需要re-training Low Rank Filters [SqueezeNext] 目的：去除冗余，并且减少权值参数 方法：采用两个K*1的卷积核替换掉一个K*K的卷积核(decompos...
人脸关键点: Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks
人工智能技术学习与分享
04-30 1万+
Wing Loss for Robust Facial Landmark Localisation with Convolutional Neural Networks 由萨里大学研究人员（第一至四作者）与江南大学研究人员（第五作者）共同研究，被CVPR2018收录，最早于2017年11月在arXiv上发表(美[ˈɑ:rkaɪv]) ： https://arxiv.org/abs/1711.06
squeezenet和squeezenext的优缺点
最新发布
10-17
SqueezeNet和SqueezeNext都是轻量级的卷积神经网络，适合在资源受限的设备上进行推理。它们的主要区别在于网络结构和性能表现。 SqueezeNet是一种基于Fire模块的网络结构，通过使用1x1卷积核来减少模型参数数量，从而实现了高效的推理。但是，由于网络结构较为简单，因此在一些复杂的任务上表现可能不如其他更深层次的网络。 SqueezeNext则是在SqueezeNet的基础上进行了改进，采用了更加复杂的网络结构，并且引入了ResNet中的残差连接，从而提高了模型的性能。相比于SqueezeNet，SqueezeNext在一些复杂任务上表现更好，但是模型参数数量也相应增加。 综上所述，SqueezeNet适合在资源受限的设备上进行推理，而SqueezeNext则适合在一些更加复杂的任务上进行推理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yuanCruise

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值