模型剪枝-Network Slimming算法分析

已于 2024-05-12 20:53:20 修改
阅读量1.8k 收藏 15
点赞数 58
分类专栏： MMLAB实战+深度学习模型剪枝与部署+顶会论文 文章标签： 剪枝 人工智能 机器学习 计算机视觉 深度学习 神经网络 算法
于 2024-04-25 15:15:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52053775/article/details/138165133
版权
本文介绍了Network Slimming算法，这是一种通过BN层的γ缩放因子进行模型剪枝的方法，旨在解决模型大小、内存和计算量的问题，同时保持精度。在BN层中，γ越大，对应的特征图越重要。通过L1正则化使权重因子稀疏化，进而确定要剪枝的通道。整体流程包括正常训练、L1正则化再训练、剪枝和微调，实验证明微调后的模型性能可超越原始模型。
摘要由CSDN通过智能技术生成

代码见文末

论文地址：Learning Efficient Convolutional Networks through Network Slimming

ICCV 2017 Open Access Repository

1.概述

        由于边缘设备的限制，在模型的部署中经常受到模型大小、运行内存、计算量的限制。之前的方法要么只能解决其中一个问题，要么会带来精度损失。因此，论文提出能够使用BN层中的缩放因子γ实现对通道的剪枝，这种方法能够很好的解决三个问题，同时也不会带来过多的精度损失，也不需要进行额外的网络结构搜索。具体如下：

        在每层卷积中，有多个特征图，例如64个特征图。但是这64个特征图不一定都重要，保留其中重要的特征图，而将不重要的特征图剪枝掉，这就是模型剪枝。因此，首先我们需要给每个特征图一个权

了解本专栏 订阅专栏 解锁全文 超级会员免费看
樱花的浪漫
关注
专栏目录
订阅专栏
YOLOv5剪枝✂️ | 模型剪枝理论篇
YOLOv8项目贡献者
10-28 7446
模型剪枝理论篇
模型剪枝的笔记
FergusJ的博客
12-14 291
模型剪枝笔记
深度学习模型压缩方法综述（二）
热门推荐
小时候贼聪明
07-21 2万+
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
深入浅出的模型压缩：你一定从未见过如此通俗易懂的Slimming操作
qq_29462849的博客
12-20 1513
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨科技猛兽编辑丨极市平台导读本文首先介绍了模型压缩领域的指标含义，并通过梳理文献，介绍了模型压缩领域常用的方法。随后对Slim...
Network Slimming 算法笔记
AI之路
04-17 8174
论文：Learning Efficient Convolutional Networks Through Network Slimming 链接：https://arxiv.org/abs/1708.06519 原代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/fo...
模型剪枝：Network Slimming剪枝实战
aibigtruth的博客
06-12 1575
其中，L1正则化项的损失函数是一个个正方形，而原来的损失函数是一个个椭圆，只有两者的交点才使得整体损失最小。稀疏训练后，剪掉一个BN层，需要将对应上一层的卷积核裁剪掉，同时将BN层后下一层卷积核对应的通道减掉。所谓惩罚项，其实就是和原来的损失函数竞争，现在要满足两者的最小值才是真正的最小值。Network Slimming剪枝是结构性剪枝，是通道剪枝，是静态剪枝。Network Slimming剪枝是结构性剪枝，是通道剪枝，是静态剪枝。γZ依然在控制特征图的数据，根据γ判断通道重要性，是控制特征图的通道。
通过Network Slimming学习高效卷积网络
zuiyishihefang的博客
11-30 3909
1.文章信息本文是2017年发表在计算机视觉领域顶会ICCV的一篇文章，被引量已经达到了1214次，是引用比较广泛的一种模型剪枝方法，作者来自清华大学、英特尔中国实验室、复旦大学和科内尔大...
模型剪枝经典论文解读：《Learning Efficient Convolutional Networks through Network Slimming》
chenxiangrong的博客
11-11 4914
Learning Efficient Convolutional Networks through Network Slimming 摘要： CNN在落地中的部署，很大程度上受到其高计算成本的限制。在本文中，作者提出一种新的CNN学习方案： 1）减少模型大小； 2） 减少模型运算内存的占用； 3）在不影响准确性的同时，减少计算操作的次数。 本文提出一种简单高效的方法，具体通过网络通道的稀疏化来实现的。该方法非常适用于CNN的结构，可将训练的开销降到最低，并且生成的模型不需要特定的软硬件进行加速，部署性能更高
ICCV 2017 Learning Efficient Convolutional Networks through Network Slimming（模型剪枝）
I good vegetable a!
01-03 1392
前言 这篇文章是ICCV 2017的一篇模型压缩论文，题目为《 Learning Efficient Convolutional Networks through Network Slimming》。2019年有相当多的关于YOLOv3的剪枝开源工程，他们大多数的原理都来自于这篇论文，这篇论文的思想值得仔细品读。论文原文地址和Pytorch开源代码地址见附录。 基础原理 这篇文章不同于之前介绍的那...
网络模型剪枝-论文阅读-Network Slimming
AManFromEarth的博客
06-24 1765
论文地址：Learning Efficient Convolutional Networks through Network Slimming 这篇论文是在2017年的ICCV发表的，可以看做是之前讲过的channel pruning方法的变种，但是更加简单有效。 简单来说，这篇论文的剪枝方式是，给每个通道加上权重，在训练的过程中使用L1正则化对通道权重进行稀疏化，然后对于最终通道权重低于阈值的通道剪枝，最后重新训练得到剪枝模型。论文非常聪明的就是对batch normliization(BN)层的γ\ga
Network slimming，一个比较好用的模型剪枝方法
小菜鸟的AI之路
06-24 2493
由于深度学习模型大小以及计算资源的限制，导致将深度学习模型部署到如移动端的时候会受到一定的限制，为了解决这个问题，就形成了一个新的领域：模型压缩，即减少模型的参数以及计算量，并且依然保证模型的精度。常见的方法比如：量化、剪枝、蒸馏等，本文便是“剪枝”当中一篇非常经典的文章，也是比较有效果的一篇文章。本文方法其实比较简单：首先，使用L1 regularization对BN层的scaling factor进行稀疏化训练，然后将scaling factor较小的参数相连接的filter减掉，达到减少模型size.
模型剪枝2015-2020论文合集|已分类已整理
10-25
模型剪枝领域，2015-2020论文合集，根据github上awesome-pruning 下载整理的，包括基本所有的论文和综述，已分类整理重命名（如CVPR2020-论文名）十分全，强烈建议下载阅读~
Python-NetworkSlimmingPytorch
08-11
Network Slimming (Pytorch)
剪枝论文一（Network Slimming）
蓝鲸鱼的博客
07-31 2254
本文介绍一种经典的模型压缩方法Network Slimming，可以实现： 减小模型大小 减少运行时的内存占用 在不影响精度的同时，降低计算操作数 论文中提供的示意图如下，可以看到左侧橙色的神经元权重较小，因此剪枝之后就去掉了这些层的连接。论文的思路即通过去掉权重较小的神经元来达到精简网络的目的。 实现去掉权重较小的神经元的流程如下： 代码实现步骤： 给定要保留层的比例，记下所有BN层大于该比例的权重。根据比例设置阈值，根据阈值建立一个mask，大于阈值的部分为1，小于阈值的部分为0。然后利用ma
【论文】模型剪枝（Network Pruning）论文详细翻译
u013044310的博客
05-03 1万+
前言： 这是关于模型剪枝（Network Pruning）的一篇论文，论文题目是：Learning both weights and connections for efficient neural networks，作者在论文中提出了一种通过网络剪枝对模型进行压缩的思路，详细地描述了模型剪枝的思路，流程和方法。 论文地址：Learning both weights and connecti...
网络模型剪枝-论文阅读-Deep compression
AManFromEarth的博客
06-24 1030
下载地址：《Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding》 这篇是韩松大神的代表作，是ICLR2016年的best paper，值得好好读一下。 其实这篇论文本质上是《Learning both Weights and Connections for Efficient Neural Networks》的极致扩展，是在这篇论文基础上继续压缩模型，
网络模型剪枝-论文阅读《Pruning Filters For Efficient Convnets》
AManFromEarth的博客
06-22 2303
之前的两篇分别讲了剪枝的权重剪枝和神经元剪枝，这篇是专门针对CNN卷积核进行剪枝的，还是挺有针对性和有效的，建议大家去看下原文。 Introduction 论文首先指出了现有剪枝网络的两个主要问题：一个是有些剪枝方法在剪枝后并不能减少计算时间，因为大多数的剪枝操作是在计算量不大的FC层完成的；另一个问题是，有些能剪枝CNN的方法在剪枝后需要使用单独的稀疏网络框架（BLAS）甚至专门的硬件上才能运行。 所以本文专注于对卷积核剪枝，与权重剪枝相比，卷积核剪枝对于剪枝操作更自然，不会引入稀疏连接，所以不需要使用专
Network Slimming
u011961856的专栏
08-29 2556
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming](https://arxiv.org/abs/1708.06519)Network Slimming为一种神经网络训练方法,其可以减小模型大小,运行内存,计算量,同时没有精度损失,并最小化训练过程.得到的模型不需要专门的库或者软件来运
yolov5s7.0模型剪枝
最新发布
09-06
YOLOv5是一种常用的目标检测模型，而模型剪枝是一种优化模型的技术，可以通过减少模型的参数量和计算量来提高模型的推理速度和效果。对于YOLOv5的模型剪枝，可以采用以下步骤： 1. 确定剪枝目标：根据具体需求，确定要剪枝的目标是网络中的哪些层或参数。 2. 选择剪枝算法：常见的剪枝算法包括通道剪枝、结构剪枝和权重剪枝等。选择适合YOLOv5的剪枝算法。 3. 剪枝操作：根据选择的剪枝算法，对目标层或参数进行剪枝操作。通道剪枝可以通过忽略某些通道或将其置零来减少参数数量；结构剪枝可以通过删除某些层或连接来减少网络结构；权重剪枝可以通过减少参数的精度来降低计算量。 4. 重新训练：由于剪枝操作可能会导致模型性能下降，需要对剪枝后的模型进行重新训练以恢复性能。通常采用微调的方式，使用原始数据集或者特定的剪枝数据集进行训练。 5. 评估和部署：在重新训练后，对剪枝后的模型进行评估，确保性能达到要求。最后，可以将剪枝后的模型部署到需要的环境中使用。 以上是一般的剪枝流程，对于YOLOv5的具体实现，可以参考相关的剪枝工具和教程，如YOLOv5官方仓库中的prune.py脚本，以及相关的论文和博客。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

樱花的浪漫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值