【模型压缩】模型剪枝模块

最新推荐文章于 2024-05-21 20:29:42 发布
最新推荐文章于 2024-05-21 20:29:42 发布
阅读量120 收藏
点赞数
分类专栏： # pytorch 人工智能 文章标签： 剪枝 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44653420/article/details/133465767
版权

模型剪枝模块

最基本的基于阈值策略

在这里插入图片描述

基于分布来选择阈值

  • 假定权重是符合一个正太分布
  • 正态分布有68% 小于标准差 将标准差作为阈值
  • 卷积层的敏感度要比全连接层更大：导致有些层over-pruning 有些层 under-pruning

在这里插入图片描述

设置预期的稀疏率

  • 权重值按照绝对值进行排序
  • 从最小的权重开始去除，直到得到想要的稀疏率

在这里插入图片描述

逐渐增加稀疏率AGP

  • 一种逐步剪枝方法
  • 在n个剪枝步骤中，稀疏度从初始的稀疏度（通常为0）增加到最终的稀疏度

在这里插入图片描述

RNN模型剪枝

在这里插入图片描述

基于幅度值的结构化剪枝

在这里插入图片描述

少写代码少看论文多多睡觉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
人工智能-项目实践-模型压缩-模型压缩demo（剪枝、量化、知识蒸馏）.zip
01-03
人工智能-项目实践-模型压缩-模型压缩demo（剪枝、量化、知识蒸馏） 模型压缩demo（剪枝、量化、知识蒸馏）
ModelPrune模型剪枝.zip
03-27
1，神经网络和卷积神经网络模型剪枝方法。 2，可指定剪枝率进行定向剪枝，并输出剪枝后参数统计和finetune。 3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,Resnet系列，MobileNet系列的剪枝。
自己整理的剪枝和模型压缩论文合集
06-06
自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集自己整理的剪枝和模型压缩论文合集
DeepLabV3+模型剪枝实战
03-05
剪枝前: macs=37410432000, nparams=3322455 剪枝后: macs=9498316800, nparams=855855 参数量比: ratio = 0.257597
pytorch模型剪枝
07-17
在cifar数据集上做图像分类的训练，并以此演示怎样进行模型剪枝，pytorch版本必须大于1.4.0
YOLOv5模型剪枝压缩
IEEE_FELLOW的博客
05-25 3万+
基于yolov5 v5.0分支进行剪枝，采用yolov5s模型，原理为Learning Efficient Convolutional Networks Through Network Slimming（https://arxiv.org/abs/1708.06519）。 yolov5s是非常优秀的轻量级检测网络，但是有时候模型依然比较大，使得我们不得不缩减网络输入大小，但是单纯降低输入来减少运算，例如640降低到320，对检测效果损失很大，同时模型体积依然是14M左右，所以可以通过添加L1正则来约束BN
模型压缩-剪枝/量化/蒸馏/AutoML
年少的勇气已经用完，剩下的就是三思而后行
06-09 1500
深度学习模型计算复杂度高，参数存在冗余。（1）线性或非线性量化。 （2）结构或非结构剪枝。 （3）网络结构搜索。 （4）权重矩阵的低秩分解。（蒸馏）优化精度、性能、存储等，使得可以在一些场景和设备上进行相应模型的部署。（1）剪枝位置的判定一般根据权重。权重越小，证明该神经元的作用越小。（2）剪枝的方式：删去网络层上的权重的向量/整个神经元/单个像素（数据）。由于矩阵操作的并行化，减去单个像素或者向量并不能减少计算量。即有的硬件并不支持稀疏矩阵的运输，所以一般剪枝操作是直接减去整个神经元。（3）判别剪神经元的
模型压缩：剪枝算法
DongxueB的博客
08-04 1843
模型压缩，剪枝算法
模型压缩工具Distiller-剪枝
lz_zl_的博客
10-15 2946
1.distiller剪枝模块的使用 （1）distiller自带剪枝实例测试 distiller自带一些测试实例如ResNet56+cifar-10，下面是对ResNet56+cifar-10的测试： 测试前准备 yaml文件(注意：这里的yaml文件是coder配置好的，具体到自己的模型需要先对自己的model进行一次Sparsity Analysis，然后自...
模型压缩之通道剪枝channel-pruning-master.zip
08-01
对训练好的模型进行通道剪枝（channel pruning），分为两步进行：第一步是channel selection，采用LASSO regression来做，其实就是添加了一个L1范数来约束权重，因为L1范数可以使得权重更加稀疏，这样就可以把那些稀疏的channel剪掉；第二步是reconstruction，基于linear least squares来约束剪枝后输出的feature map要尽可能和减枝前的输出feature map相等，也就是最小二乘值越小越好。
闲话模型压缩之网络剪枝（Network Pruning）篇
热门推荐
世事难料，保持低调
09-15 4万+
背景 今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（DNN）有个很大的缺点就是计算量太大。这很大程度上阻碍了基于深度学习方法的产品化，尤其是在一些边缘设备上。因为边缘设备大多不是为计算密集任务设计的，如果简单部署上去则功耗、时延等都会成为问题。即使是在服务端，更多的计算也会直接导致成本的增加。因此，人们正在从各个角度试图克服这个问题，如这几...
深度学习之模型压缩（剪枝、量化）
我的博客
01-06 8234
随着深度学习的发展，模型变得越来越复杂，随之而来的模型参数也越来越多，对于需要训练的模型硬件要求也越来越高。模型压缩技术就是为了解决模型使用成本的问题。通过提高推理速度，降低模型参数量和运算量。现在主流的模型压缩方法包含两大类：剪枝和量化。模型的剪枝是为了减少参数量和运算量，而量化是为了压缩数据的占用量。
模型压缩总结
sunnygirl's house
11-14 861
模型压缩总结
模型压缩（二）yolov5剪枝
程序猿的视界
08-11 7703
yolov5剪枝
DeepLearning——模型压缩剪枝量化
swpucwf的博客
07-31 4200
模型压缩 为什么需要模型压缩 量化 剪枝 蒸馏 模型压缩 为什么需要模型压缩 深度学习（Deep Learning）因其计算复杂度或者参数冗余，在一些场景和设备上限制了相应的模型部署，因此需要模型压缩、优化加速、异构计算等方法突破瓶颈。 其实我们一般用框架训练好了模型的权重之后，我们需要把模型安装到其他设备上，例如PC端、服务器、嵌入式板子树莓派、tensorRT等等，不是所有的设备都具有我们训练时候的那种推理和计算能力。像嵌入式板子那种，对性能和功耗都有严格要求的，你总不能强迫公..
【知识蒸馏】deeplabv3 logit-based 知识蒸馏实战，对剪枝的模型进行蒸馏训练
m0_51579041的博客
05-21 406
【知识蒸馏】deeplabv3 logit-based 知识蒸馏实战，对剪枝的模型进行蒸馏训练
质数和约数
最新发布
2302_77099705的博客
05-21 1079
最大公约数（Greatest Common Divisor）指两个或多个整数共有约数中最大的一个。也称最大公因数、最大公因子，a， b的最大公约数记为（a，b），同样的，a，b，c的最大 公约数记为（a，b，c），多个 整数的最大公约数也有同样的记号。求最大公约数有多种 方法，常见的有 质因数分解法、 短除法、 辗转相除法、 更相减损法。
代码随想录算法训练营Day 47|动态规划part09|198.打家劫舍、213.打家劫舍II 、337.打家劫舍III
m0_51759998的博客
05-20 380
【代码】代码随想录算法训练营Day 47|动态规划part09|198.打家劫舍、213.打家劫舍II 、337.打家劫舍III。
使用PyTorch实现模型剪枝
05-09
模型剪枝是一种压缩神经网络模型的技术，它可以通过去掉一些冗余的连接和神经元节点来减小模型的大小，从而降低模型的存储和计算开销，同时还可以提高模型的推理速度和泛化能力。 PyTorch是一种非常流行的深度学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

少写代码少看论文多多睡觉

求打赏，求关注，求点赞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值