模型剪枝-Network Slimming算法分析

已于 2024-05-12 20:53:20 修改
阅读量1.7k 收藏 15
点赞数 58
分类专栏： MMLAB实战+深度学习模型剪枝与部署+顶会论文 文章标签： 剪枝 人工智能 机器学习 计算机视觉 深度学习 神经网络 算法
于 2024-04-25 15:15:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52053775/article/details/138165133
版权
本文介绍了Network Slimming算法，这是一种通过BN层的γ缩放因子进行模型剪枝的方法，旨在解决模型大小、内存和计算量的问题，同时保持精度。在BN层中，γ越大，对应的特征图越重要。通过L1正则化使权重因子稀疏化，进而确定要剪枝的通道。整体流程包括正常训练、L1正则化再训练、剪枝和微调，实验证明微调后的模型性能可超越原始模型。
摘要由CSDN通过智能技术生成

代码见文末

论文地址：Learning Efficient Convolutional Networks through Network Slimming

ICCV 2017 Open Access Repository

1.概述

        由于边缘设备的限制，在模型的部署中经常受到模型大小、运行内存、计算量的限制。之前的方法要么只能解决其中一个问题，要么会带来精度损失。因此，论文提出能够使用BN层中的缩放因子γ实现对通道的剪枝，这种方法能够很好的解决三个问题，同时也不会带来过多的精度损失，也不需要进行额外的网络结构搜索。具体如下：

        在每层卷积中，有多个特征图，例如64个特征图。但是这64个特征图不一定都重要，保留其中重要的特征图，而将不重要的特征图剪枝掉，这就是模型剪枝。因此，首先我们需要给每个特征图一个权

了解本专栏 订阅专栏 解锁全文 超级会员免费看
樱花的浪漫
关注
  • 58
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
通过Network Slimming学习高效卷积网络
zuiyishihefang的博客
11-30 3889
1.文章信息本文是2017年发表在计算机视觉领域顶会ICCV的一篇文章，被引量已经达到了1214次，是引用比较广泛的一种模型剪枝方法，作者来自清华大学、英特尔中国实验室、复旦大学和科内尔大...
Network Slimming 算法笔记
AI之路
04-17 8146
论文：Learning Efficient Convolutional Networks Through Network Slimming 链接：https://arxiv.org/abs/1708.06519 原代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/fo...
模型剪枝：Network Slimming剪枝实战
aibigtruth的博客
06-12 1435
其中，L1正则化项的损失函数是一个个正方形，而原来的损失函数是一个个椭圆，只有两者的交点才使得整体损失最小。稀疏训练后，剪掉一个BN层，需要将对应上一层的卷积核裁剪掉，同时将BN层后下一层卷积核对应的通道减掉。所谓惩罚项，其实就是和原来的损失函数竞争，现在要满足两者的最小值才是真正的最小值。Network Slimming剪枝是结构性剪枝，是通道剪枝，是静态剪枝。Network Slimming剪枝是结构性剪枝，是通道剪枝，是静态剪枝。γZ依然在控制特征图的数据，根据γ判断通道重要性，是控制特征图的通道。
模型剪枝经典论文解读：《Learning Efficient Convolutional Networks through Network Slimming》
chenxiangrong的博客
11-11 4786
Learning Efficient Convolutional Networks through Network Slimming 摘要： CNN在落地中的部署，很大程度上受到其高计算成本的限制。在本文中，作者提出一种新的CNN学习方案： 1）减少模型大小； 2） 减少模型运算内存的占用； 3）在不影响准确性的同时，减少计算操作的次数。 本文提出一种简单高效的方法，具体通过网络通道的稀疏化来实现的。该方法非常适用于CNN的结构，可将训练的开销降到最低，并且生成的模型不需要特定的软硬件进行加速，部署性能更高
ICCV 2017 Learning Efficient Convolutional Networks through Network Slimming（模型剪枝）
I good vegetable a!
01-03 1356
前言 这篇文章是ICCV 2017的一篇模型压缩论文，题目为《 Learning Efficient Convolutional Networks through Network Slimming》。2019年有相当多的关于YOLOv3的剪枝开源工程，他们大多数的原理都来自于这篇论文，这篇论文的思想值得仔细品读。论文原文地址和Pytorch开源代码地址见附录。 基础原理 这篇文章不同于之前介绍的那...
剪枝论文一（Network Slimming）
蓝鲸鱼的博客
07-31 2184
本文介绍一种经典的模型压缩方法Network Slimming，可以实现： 减小模型大小 减少运行时的内存占用 在不影响精度的同时，降低计算操作数 论文中提供的示意图如下，可以看到左侧橙色的神经元权重较小，因此剪枝之后就去掉了这些层的连接。论文的思路即通过去掉权重较小的神经元来达到精简网络的目的。 实现去掉权重较小的神经元的流程如下： 代码实现步骤： 给定要保留层的比例，记下所有BN层大于该比例的权重。根据比例设置阈值，根据阈值建立一个mask，大于阈值的部分为1，小于阈值的部分为0。然后利用ma
网络模型剪枝-论文阅读-Network Slimming
AManFromEarth的博客
06-24 1736
论文地址：Learning Efficient Convolutional Networks through Network Slimming 这篇论文是在2017年的ICCV发表的，可以看做是之前讲过的channel pruning方法的变种，但是更加简单有效。 简单来说，这篇论文的剪枝方式是，给每个通道加上权重，在训练的过程中使用L1正则化对通道权重进行稀疏化，然后对于最终通道权重低于阈值的通道剪枝，最后重新训练得到剪枝模型。论文非常聪明的就是对batch normliization(BN)层的γ\ga
Network slimming，一个比较好用的模型剪枝方法
小菜鸟的AI之路
06-24 2410
由于深度学习模型大小以及计算资源的限制，导致将深度学习模型部署到如移动端的时候会受到一定的限制，为了解决这个问题，就形成了一个新的领域：模型压缩，即减少模型的参数以及计算量，并且依然保证模型的精度。常见的方法比如：量化、剪枝、蒸馏等，本文便是“剪枝”当中一篇非常经典的文章，也是比较有效果的一篇文章。本文方法其实比较简单：首先，使用L1 regularization对BN层的scaling factor进行稀疏化训练，然后将scaling factor较小的参数相连接的filter减掉，达到减少模型size.
模型剪枝的笔记
FergusJ的博客
12-14 273
模型剪枝笔记
模型剪枝2015-2020论文合集|已分类已整理
10-25
模型剪枝领域，2015-2020论文合集，根据github上awesome-pruning 下载整理的，包括基本所有的论文和综述，已分类整理重命名（如CVPR2020-论文名）十分全，强烈建议下载阅读~
Python-NetworkSlimmingPytorch
08-11
Network Slimming (Pytorch)
模型剪枝——RETHINKING THE VALUE OF NETWORK PRUNING
最新发布
qq_52053775的博客
04-29 451
L1-范数基于滤波器剪枝：作者评估了使用L1-范数进行滤波器剪枝的方法，并比较了剪枝模型与从头训练模型的性能。在CIFAR-10和ImageNet数据集上，直接从头开始训练的模型（Scratch-B）通常比经过剪枝和微调的模型表现得更好。ThiNet与基于回归的方法的实验结果也类似，从头开始训练小型模型不仅可行，而且往往能得到更好的性能。这进一步质疑了传统剪枝策略的必要性。
【论文】模型剪枝（Network Pruning）论文详细翻译
热门推荐
u013044310的博客
05-03 1万+
前言： 这是关于模型剪枝（Network Pruning）的一篇论文，论文题目是：Learning both weights and connections for efficient neural networks，作者在论文中提出了一种通过网络剪枝对模型进行压缩的思路，详细地描述了模型剪枝的思路，流程和方法。 论文地址：Learning both weights and connecti...
网络模型剪枝-论文阅读-Deep compression
AManFromEarth的博客
06-24 1012
下载地址：《Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding》 这篇是韩松大神的代表作，是ICLR2016年的best paper，值得好好读一下。 其实这篇论文本质上是《Learning both Weights and Connections for Efficient Neural Networks》的极致扩展，是在这篇论文基础上继续压缩模型，
网络模型剪枝-论文阅读《Pruning Filters For Efficient Convnets》
AManFromEarth的博客
06-22 2277
之前的两篇分别讲了剪枝的权重剪枝和神经元剪枝，这篇是专门针对CNN卷积核进行剪枝的，还是挺有针对性和有效的，建议大家去看下原文。 Introduction 论文首先指出了现有剪枝网络的两个主要问题：一个是有些剪枝方法在剪枝后并不能减少计算时间，因为大多数的剪枝操作是在计算量不大的FC层完成的；另一个问题是，有些能剪枝CNN的方法在剪枝后需要使用单独的稀疏网络框架（BLAS）甚至专门的硬件上才能运行。 所以本文专注于对卷积核剪枝，与权重剪枝相比，卷积核剪枝对于剪枝操作更自然，不会引入稀疏连接，所以不需要使用专
Network Slimming
u011961856的专栏
08-29 2530
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming](https://arxiv.org/abs/1708.06519)Network Slimming为一种神经网络训练方法,其可以减小模型大小,运行内存,计算量,同时没有精度损失,并最小化训练过程.得到的模型不需要专门的库或者软件来运
Network Slimming——有效的通道剪枝方法（Channel Pruning）
AI Flash
06-11 1万+
"Learning Efficient Convolutional Networks through Network Slimming"这篇文章提出了一种有效的结构性剪枝方法，即规整的通道剪枝策略：在训练期间，通过对网络BN层的gamma系数施加L1正则约束，使得模型朝着结构性稀疏的方向调整参数。此时BN层的Gamma系数所起的作用，类似于信息流通道的开关系数，控制着信息流通道的开关闭合。完成稀疏...
Alpha-Beta剪枝算法详解与实现
"Alpha-Beta剪枝算法是一种在博弈树中进行搜索的优化策略，用于减少在决策树中不必要的分支探索，提高效率。该算法广泛应用于棋类游戏，如一字棋（井字棋）等，通过计算机模拟玩家的决策来找到最佳的下一步。此算法...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

樱花的浪漫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值