模型剪枝网络 Learning Efficient Network throung Network Slimming 简述

已于 2023-04-24 23:14:27 修改
阅读量459 收藏
点赞数
分类专栏： 自动驾驶相关 ML/DL 文章标签： 剪枝 机器学习 人工智能
于 2023-04-24 23:12:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45348389/article/details/130349526
版权

1. 概述

训练得到的特征图，并不是所有特征图都重要，另一方面，希望对权重执行策略，体现出权重之间的差异性，最终目的就是获得不同特征图中的channel sacling factors，表征了不同特征图的重要性
在这里插入图片描述

2. BN

采用的方法是BN，BN就是减均值再除以标准差

1.BN的本质

BN就是减均值再除以标准差
每次如果不加BN操作，会使得数据的分布较为散乱，用在部分激活函数的时候，如sigmoid的时候容易出现梯度消失的问题，使用BN将值重新规范化到均值为0方差为1的分布上去，加速模型的收敛，但BN也把数据强行压缩到模型的线性区域，也会某种程度上降低模型的表达能力，所以BN添加 α γ \alpha\gamma αγ两个参数，弥补BN带来的模型表达能力降低的问题，所以BN最终形式如下（原始的归一化减均值除以方差，这里弥补为乘以一个值再加上一个值，很合理吧）

通过对每一个特征图进行BN，获得中间的 γ \gamma γ作为某一层特征图的权重，根据阈值滤除不需要的特征图

2.如何实现进一步拉开权重之间的差异呢？使用正则化的方法

L1正则化：稀疏与特征选择
L2正则化：平滑特征

论文中对 γ \gamma γ参数进行正则化，拉开 γ \gamma γ的差异性

3. 整体流程

采用的方法是训练-剪枝-训练的方式来迭代
首先更改模型的BN，更新方式是：BN = BN+L1
在这里插入图片描述

通过排序确定图中的thre值，然后生成mask，再使用原始权重和mask相乘获取最后生效的权重层

在这里插入图片描述

然后将ok的结构及数据拷贝到新的权重中去，开启新的训练

在这里插入图片描述

ShyHG
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ModelPrune模型剪枝.zip
03-27
1，神经网络和卷积神经网络模型剪枝方法。 2，可指定剪枝率进行定向剪枝，并输出剪枝后参数统计和finetune。 3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,Resnet系列，MobileNet系列的剪枝。
1/200 Learning Efficient Convolutional Networks through Network Slimming
weixin_72380563的博客
02-06 441
Learning Efficient Convolutional Networks through Network Slimming
[2017ICCV F] Learning Efficient Convolutional Networks through Network Slimming
JY丫丫
05-09 771
Learning Efficient Convolutional Networks through Network Slimming Learning Efficient Convolutional Networks through Network Slimming_网络_h__ang的博客-CSDN博客 https://blog.csdn.net/h__ang/article/details/8...
Learning Efficient Convolutional Networks through Network Slimming【译】
epic_Lin的博客
01-15 710
Learning Efficient Convolutional Networks through Network Slimming【CVPR2017】 摘要 在本文中，我们提出了一种新的cnn学习方案（learning scheme），来同时 1)减少模型大小；2)减少运行时内存占用；3)减少计算操作的次数并且不降低准确性。这是通过以一种简单而有效的方式在网络中增强通道级的稀疏性来实现的。与现有的许多方法不同，该方法直接适用于现代CNN架构，它为训练过程引入了最小的开销，并且生成的模型不需要特殊的软件/硬
【论文阅读笔记】Learning Efficient Convolutional Networks through Network Slimming
时光机 °的博客
07-08 1万+
论文地址：Network Slimming 论文总结   本文提出了一种channel-level的裁剪方案，可以通过稀疏化尺度因子（BN层的scaling factor）来裁掉“不重要”的channel。   文中的方案为： 在训练时，对BN层的scaling factor施加L1L_1L1​正则化，在训练网络的同时得到稀疏化的尺度因子； 裁掉低于指定阈值的channel；【（1）设定裁剪的百分比；（2）依据百分比找到所有尺度因子对应的值作为阈值；（3）逐层进行裁剪】 对得到的模型进行fine-tune
模型剪枝----Learning Efficient Convolutional Networks through Network Slimming
litt1e的博客
03-14 1480
模型剪枝是模型压缩中较为核心的方法，它可以清除网络中冗余的参数与计算量，让模型更加紧凑高效。下面我们介绍Learning Efficient Convolutional Networks through Network Slimming。 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang...
DeepLabV3+模型剪枝实战
最新发布
03-05
模型剪枝是一种优化策略，通过删除对模型预测影响较小的网络权重或连接，来减少模型的参数数量和计算量（MACs，Multiply-Accumulate Operations）。在描述中提到，剪枝前后的模型参数量和MACs有显著差异。剪枝前，...
基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化和模型压缩实现
03-13
Slimming的优势在于它可以动态地调整网络结构，不需要重新设计网络架构，且在剪枝过程中保持模型的层次结构。 三、AutoSlim AutoSlim是另一种自动化模型压缩方法，它结合了结构搜索和剪枝。与Slimming不同，...
yolov8s模型进行剪枝源码
05-13
实现步骤: 1. yolov8s模型预训练 2. 模型稀疏化sparsity 3.剪枝 4. finetune 经过键枝后,finetune60个epoch达到原模型迭代52个epoch的mAP值0.78，模型的大小减少了2/5。
人工智能-项目实践-模型剪枝-在 oxford hand 数据集上对 YOLOv3 做模型剪枝.zip
01-03
人工智能-项目实践-模型剪枝-在 oxford hand 数据集上对 YOLOv3 做模型剪枝 用 YOLOv3 模型在一个开源的人手检测数据集 oxford hand 上做人手检测，并在此基础上做模型剪枝。对于该数据集，对 YOLOv3 进行 channel ...
Learning Efficient Convolutional Networks Through Network Slimming
qq_41823532的博客
01-04 261
【代码】Learning Efficient Convolutional Networks Through Network Slimming。
阅读笔记——Learning Efficient Convolutional Networks through Network Slimming
哇哇的博客
12-19 499
目录概述方法实验及指标实验细节实验指标 概述 CNN 模型在许多方面都取得了进展，但要将一些高精度 CNN 模型应用到实际场景中，还是面临一些问题： 模型大小：模型参数和结构需要保存在硬盘上，对于一些嵌入式系统来说是一个不小的负担； 运行时内存需求：推理时产生的中间变量需要地方存储； 计算操作次数：一个比较大的 CNN 网络在移动设备上的处理时间可能可以达到数分钟，这使得应用于实时应用不现实。 这些实际问题使得人们考虑对模型大小进行压缩。这篇文章提出，可以对 BN 层的尺度因子使用 L1 正则化，将 B
模型剪枝经典论文解读：《Learning Efficient Convolutional Networks through Network Slimming》
chenxiangrong的博客
11-11 4729
Learning Efficient Convolutional Networks through Network Slimming 摘要： CNN在落地中的部署，很大程度上受到其高计算成本的限制。在本文中，作者提出一种新的CNN学习方案： 1）减少模型大小； 2） 减少模型运算内存的占用； 3）在不影响准确性的同时，减少计算操作的次数。 本文提出一种简单高效的方法，具体通过网络通道的稀疏化来实现的。该方法非常适用于CNN的结构，可将训练的开销降到最低，并且生成的模型不需要特定的软硬件进行加速，部署性能更高
模型压缩之Learning Efficient Convolutional Networks through Network Slimming
程序员深度学习
05-25 2133
1. 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文中，我们提出了一种新颖的CNNs学习方案，它同时满足： 减小模型大小； 减少运行时的内存占用； 在不影响精度的同时，降低计算操作数； 利用通道稀疏化这样一个简单但却有效的方法，上面的条件很容易获得。不同于许多已经存在的方法，我们的方法可以直接应用到现代CNN网络架构中，在训练过程引入最小的花销，而且不需要其他特殊的软硬件加速器。我们将我们的方法称为“网络瘦身”，输入模型是一个宽大的网络，但是在训练期间不重要的通道.
【Pruning系列：二】Learning Efficient Convolutional Networks through Network Slimming｜YOLOv3实践 ｜Pytorch 总结
鹿鹿的博客
04-19 2262
YOLOv3-model-pruning https://github.com/Lam1360/YOLOv3-model-pruning YOLOv3模型剪枝，瘦身80%，提速100%，精度基本不变 Introduction 以 eriklindernoren/PyTorch-YOLOv3（https://github.com/eriklindernoren/PyTorch-YOLOv3）为Y...
【网络裁剪】——Learning Efficient Convolutional Networks through Network Slimming
怡宝2号
03-04 1178
转载自:https://blog.csdn.net/h__ang/article/details/89376079 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/foolwood/pytorch-slimming 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文.
《Learning Efficient Convolutional Networks through Network Slimming》论文笔记
m_buddy的博客
12-21 626
代码地址：slimming 1. 概述 导读：这篇文章是一篇关于CNN网络剪枝的文章，文章里面提出通过BatchNorm层的scaling参数确定重要的channel，排除不重要的channel，从而达到网络瘦身的目的。此外文章还引入了L1范数，通过L1范数约束的稀疏特性使得BN的scaling参数趋于0，从而帮助确定非重要的channel，并按照给定的阈值剪裁掉。总的来说这篇文章具有一定局限性...
模型压缩：Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
热门推荐
人工智能技术学习与分享
12-13 1万+
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming（Paper） 2017年ICCV的一篇paper，思路清晰，骨骼清奇~~ 创新点： 1. 利用batch normalization中的缩放因子γ 作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pru
anaconda 导出和离线安装依赖库（单个或批量）
我的小天地 ^_^
07-23 6061
要在无法访问网络的电脑上搭建或移植已经搭建好的anaconda环境，首先你需要通过： conda create -n YOURENVNAME python=3.6（这里的python=3.6是可选的，不一定需要指定版本） 然后在你已经打建好环境的电脑上开始依赖库的导出： 如果你有多个虚拟环境，且希望导出的是某一个虚拟环境，你要切换到你的虚拟环境下进行一下操作，激活虚拟环境： 首先看批量导出： conda activate pytorch # 我的环境名称是pytorch 然后 pip freeze &gt
简述模型剪枝，模型量化，模型蒸馏的基本原理
03-01
模型剪枝是一种模型压缩技术，它通过减少模型中参数数量和参数规模来减少模型的大小，从而提高模型性能。模型量化是指在保持模型性能的前提下，对模型中的参数进行重新编码，以减少模型的大小。模型蒸馏是一种模型的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值