剪枝 方法总结笔记

已于 2024-06-03 14:04:10 修改
阅读量5.6k 收藏 9
点赞数 1
分类专栏： pytorch知识宝典 python基础 文章标签： pytorch 剪枝 人工智能
于 2018-08-15 10:43:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/81700085
版权
本文详细介绍了卷积神经网络的剪枝方法，包括非结构化剪枝的SparseGPT、LoRAPrune和Wanda，以及结构化剪枝的LLM-Pruner。重点讲解了在PyTorch中基于卷积层通道剪枝的步骤，如评估神经元重要性、去除不重要神经元、修改BatchNorm层通道数，以及剪枝模型的训练和微调过程。此外，还强调了剪枝模型在测试阶段的注意事项和实现代码链接。
摘要由CSDN通过智能技术生成

目录

非结构化剪枝：SparseGPT，LoRAPrune，Wanda

结构化剪枝：LLM-Pruner

pytorch基于卷积层通道剪枝的方法

非结构化剪枝：SparseGPT，LoRAPrune，Wanda


​ 指移除个别参数，而不考虑整体网络结构。这种方法通过将低于阈值的参数置零的方式对个别权重或神经元进行处理。


结构化剪枝：LLM-Pruner


​ 根据预定义规则移除连接或分层结构，同时保持整体网络结构。这种方法一次性地针对整组权重，优势在于降低模型复杂性和内存使用，同时保持整体的LLM结构完整。

pytorch基于卷积层通道剪枝的方法

原文：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
专栏目录
订阅专栏
『大模型笔记』量化 vs 剪枝 vs 蒸馏：为推理优化神经网络！
AI新视界
05-28 422
让我们总结一下我们在本视频中所涵盖的内容。首先是量化。量化使用不太精确的数据格式来减少模型的大小和延迟。当你将格式从FP32减少到Int8时，这会导致4倍的减少。最好与能够更快地执行低精度格式的低精度执行引擎结合使用。一个缺点是它可能会导致准确度下降，尽管希望不会太多。剪枝是将你的神经网络的一些权重设置为零以节省空间和计算。为了使其有效，要求执行引擎能够执行稀疏神经网络。与量化类似，它也可能导致准确度下降。知识蒸馏是我们涵盖的唯一一种可以修改模型架构的方法。
提高篇-深度优先搜索DFS与剪枝-《算法笔记》同步笔记总结与补充
九筒的博客
02-22 412
搜索作为算法的开篇需要彻底吃透，因此搜索专题将dfs与bfs分开进行总结。 在练习dfs之前，必须要将递归吃透，自己能力还是有限，递归部分一直很困扰我，这次要花费大量时间，彻底将递归和dfs吃透弄懂！ 可解问题 n皇后问题：八皇后问题，数独，迷宫 求子集问题：从n个数字中选出k个数字并满足x条件，如背包问题，全排列问题（特殊的求子集问题），求子序列问题 专题要点： 本章个人认为从递归参数，递归...
pytorch基于卷积层通道剪枝的方法
yyqq7226741的博客
10-21 7857
本文基于文章：Pruning Convolutional Neural Networks for Resource Efficient Inference https://arxiv.org/abs/1611.06440 下面以ResNet模型为例，讲解剪枝方法。 1 评估神经元（即通道）重要性 1.1 给模型中所有conv layer重新编号排次序； 1.2 计算每个conv ...
Pytorch~模型剪枝
最新发布
weixin_41424191的博客
08-09 17
一，剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。1.1，非结构化剪枝非结构化剪枝（Unstructured Puning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数...
pytorch模型剪枝
07-17
在cifar数据集上做图像分类的训练，并以此演示怎样进行模型剪枝，pytorch版本必须大于1.4.0
pytorch实现模型通道剪枝
oyjwin的博客
06-11 2472
实现channel剪枝，定义剪枝比例，即可实现剪枝；目前已实现alexnet、vgg16、resnet等分类网络的剪枝；yolov5s暂时出现了一个bug；但是剪枝需要的文件和预处理操作
基于Pytorch的卷积神经网络剪枝
小石的博客
12-17 1万+
       本篇博客对网络剪枝的实现方法主要在https://jacobgil.github.io/deeplearning/pruning-deep-learning的基础上进行了相应修改而完成，所参考的论文为https://arxiv.org/abs/1611.06440。本篇博客所使用的代码见https://github.com/PolarisShi/purning。        网络...
基于pytorch模型剪枝的实现（极大的减少模型计算参数加快模型运行速度）
热门推荐
帅的发光发亮的博客
10-03 2万+
深度模型剪枝实现以及一些网络优化技巧模型剪枝：Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017).基于论文的代码复现以及拓展：在网络上中加入其它优化方法最强深度学习优化器Rangerwarm up与consine learning rate为什么使用warmup?label smoothapex混合精度训练梯度累加其他网络部署的方式： 模型剪枝：Learning Efficient Convolutio
模型通道剪枝汇总（channel pruning）
qq_38109843的博客
07-20 3793
目前所看到的通道剪枝的方法不是特别多，先总结一下现有的 论文：https://openaccess.thecvf.com/content_iccv_2017/html/Liu_Learning_Efficient_Convolutional_ICCV_2017_paper.html 解读：https://blog.csdn.net/h__ang/article/details/89376079 关于这篇论文和相关的yolov3项目，我做了一个总结，传送门在这里,有完整代码，复现很方便：https://bl
【XJTU笔记】大数据科学与应用技术课程复习总结笔记
GabrielleGao的博客
06-23 349
西安交通大学大数据科学与应用技术课程笔记完整版
代码随想录-力扣刷题-总结笔记02
upward
04-04 961
代码随想录-力扣刷题-总结笔记02
《统计学习方法（第2版）》李航 第十二章 监督学习方法总结 思维导图笔记
qq_26928055的博客
04-23 1011
适用问题 监督学习主要包括分类、标注、回归问题。标注问题是从观测序列到标记/状态序列的过程，相比二分类问题，其数目上是指数级区别。 模型 非概率模型，是指直接由输入X得到输出Y，或者得到输出的条件概率分布P（Y｜X）的模型，对于监督学习也叫做判别模型。感知机、k近邻、支持向量机SVM、提升方法是非概率模型；概率模型首先学习联合概率密度P（X，Y），然后求出条件概率密度P（Y｜X），在监督学习中称为生成模型，朴素贝叶斯法、隐马尔可夫模型是生成模型；决策树、Logistic回归与最大熵、条件随机场，既可以看..
pytorch中的模型剪枝
qunsorber的博客
01-08 3275
自定义剪枝可以自定义一个子类，用来实现具体的剪枝逻辑，比如对权重矩阵进行间隔性的剪枝在剪枝前查看网络结构采用自定义剪枝的方式对局部模块fc3进行剪枝输出结果最后的剪枝效果与实现的逻辑一致。
PyTorch实现深度可分离卷积（以MobileNet为例）
Einstellung的博客
12-17 1万+
介绍深度可分离卷积之前首先要先介绍一下分组卷积。 分组卷积 参考链接[1]已经将分组卷积介绍的比较详细了，这里就不再赘述。原理可以参考一下参考链接。但是这篇文章对于分组卷积的具体代码讲解，感觉不太好。这里对于分组卷积着重介绍一下代码讲解。 直接调用torch.nn.Conv2d()就可以实现分组卷积。在Conv2d里面有一个参数叫groups，这个参数是实现这一功能的关键。下面详细解介绍一下这个参...
pytorch prune剪支教程
qq_47150350的博客
06-26 1650
为了使剪枝成为永久的，我们可以移除weight_orig和weight_mask的重新参数化，并移除forward_pre_hook，我们可以使用torch.nn.utils.prune中的remove功能。例如，假设您想要实现一种剪枝技术，它会剪枝张量中的每个其他条目（或者如果张量之前已经被剪枝，则剪枝剩余未剪枝部分的张量）。函数的第一个参数是模块，name使用字符串标识符在该模块中标识参数，amount指示要剪枝的连接的百分比（如果是0到1之间的浮点数），或要剪枝的连接的绝对数量（如果是非负整数）。
pytorch Resnet50分类模型剪枝
qq_38109843的博客
07-29 6501
Resnet50 网络结构：https://www.jianshu.com/p/993c03c22d52 剪枝方式 1.基于network-slimming论文的方法：pytorch版代码：https://github.com/Eric-mingjie/network-slimming 思路：去掉downsample里面的BN层，为了方便采用Resnetv2的结构：BN-Conv-ReLU，在每一个bottleneck的第一个BN后自定义一个通道选择层（全1层），训练过程中不影响，剪枝时先生成BN的通道ma
pytorch自带的模型剪枝工具prune的使用
大鱼的博客
10-13 1万+
torch.nn.utils.prune可以对模型进行剪枝，官方指导如下： https://pytorch.org/tutorials/intermediate/pruning_tutorial.html 直接上代码 首先建立模型网络： import torch import torch.nn as nn from torchsummary import summary device = torch.device("cuda" if torch.cuda.is_available() else "
YOLOv5系列(四十六) 模型剪枝与Pytorch剪枝策略
weixin_44302770的博客
12-10 2006
详细内容见参考资料1,2剪枝就是通过去除网络中冗余的channels,filters, neurons, or layers以得到一个更轻量级的网络，同时不影响性能。网络剪枝的步骤神经网络中的一些权重和神经元是可以被剪枝的，这是因为这些权重可能为零或者神经元的输出大多数时候为零，表明这些权重或神经元是冗余的。
Pytorch剪枝api测试和结果
Bismarckczy的博客
04-25 1220
Pytorch 官方给出的prune接口。
ResRep 剪枝方法 YOLOv
05-04
ResRep 剪枝方法是一种针对深度神经网络的剪枝方法，它可以有效地减少模型的参数数量和计算复杂度，从而提高模型的运行速度和效率。而 YOLOv3 是一种常用的目标检测模型，它可以快速、准确地定位和识别图像中的目标...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值