pytorch实现模型通道剪枝

最新推荐文章于 2024-08-01 03:28:21 发布

oyjwin

最新推荐文章于 2024-08-01 03:28:21 发布

阅读量2.4k

点赞数 1

文章标签： python 深度学习 pytorch

本文链接：https://blog.csdn.net/oyjwin/article/details/117804685

版权

实现channel剪枝，定义剪枝比例，即可实现剪枝；目前已实现alexnet、vgg16、resnet等分类网络的剪枝；yolov5s暂时出现了一个bug；但是剪枝需要的文件和预处理操作均已获取到；

准备文件

1.train、test需要的数据集；

2.模型创建

3.forward细化到每层的前向传递

4.在conv的地方定义一个hook function；对获取到的gradient进行处理（计算标准差等）

5.通道权重rank，过滤掉一些不重要的权重

6.迭代次数为总过滤的通道数/每次过滤的通道数

7.进行剪枝时，要对应好上一层输出的通道数与当前层的输入通道数对应，在add方法中，要注意剪枝后的通道数匹配；

注意：在实际操作过程中，最好是直接对卷积层进行通道剪枝，这样可快速减小网络的参数量，在对Linear层的剪枝发现，模型大小下降不明显，原因也是Linear层的参数量为in_feature* out_feature;feature通常设置比较大，所以效果不太明显；

代码可关注：https://github.com/oyjGithub，后续将把操作代码放入到github项目中；

vgg16模型剪枝50%与原模型对比：（中间的数字表示size，54.59MB、217.52MB）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

oyjwin

关注关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

基于pytorch实现模型剪枝

专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。

02-24

1145

所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。

pytorch 47 模型剪枝实战|基于torch-pruning库代码对yolov10n模型进行剪枝

最新发布

a486259的博客

08-11

162

torch-pruning官方提供了基于yolov8的剪枝代码，基于此代码改进博主实现了对yolov10n模型的剪枝。虽然实现了对yolov10n模型的剪枝，剪枝目标为移除60%的通道，然而实验是失败的，针对coco数据集进行操作，剪枝前的模型map时37，剪枝后只能恢复到22，比预计下降了15个点，剪枝后的模型flop是下降了很多，mac从8.9降低到2.01616 G，但在3060显卡上推理速度并未得到提升。下一期，将会实现模型的稀疏化训练与剪枝。本期实验，主要验证了多次剪枝，不如一次剪枝到位；

1 条评论您还未登录，请先登录后发表或查看评论

pytorch基于卷积层通道剪枝的方法

yyqq7226741的博客

10-21

7861

本文基于文章：Pruning Convolutional Neural Networks for Resource Efficient Inference https://arxiv.org/abs/1611.06440 下面以ResNet模型为例，讲解剪枝方法。 1 评估神经元（即通道）重要性 1.1 给模型中所有conv layer重新编号排次序； 1.2 计算每个conv ...

Pytorch~剪枝模型

weixin_35813719的博客

08-01

剪枝分类所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。非结构化剪枝非结构化剪枝（Unstructured Puning）是指修剪参数的单个元素，比如全连接层中的单个权重、卷积层中的单个卷积核参数元素或者自定...

PyTorch--模型剪枝案例

ssunshining的博客

06-04

4100

根据掩码图对应权重矩阵将对应位置上的值替换为0

pytorch模型剪枝

07-17

在cifar数据集上做图像分类的训练，并以此演示怎样进行模型剪枝，pytorch版本必须大于1.4.0

pytorch中的模型剪枝

qunsorber的博客

01-08

3280

自定义剪枝可以自定义一个子类，用来实现具体的剪枝逻辑，比如对权重矩阵进行间隔性的剪枝在剪枝前查看网络结构采用自定义剪枝的方式对局部模块fc3进行剪枝输出结果最后的剪枝效果与实现的逻辑一致。

基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）

03-06

常见的剪枝策略包括结构剪枝（如通道剪枝）和权重剪枝（如L1或FRO norm剪枝）。CIFAR数据集通常用于图像识别任务，剪枝可以显著减小模型大小，提高推理速度，同时保持相对较高的准确率。 2. **模型量化**：模型...

基于pytorch的模型稀疏训练与模型剪枝示例

03-05

在PyTorch中，可以使用第三方库如`torchprune`或者`nnunet`来实现模型剪枝。这些库提供了方便的API，可以对预训练模型进行不同策略的剪枝。为了实现模型剪枝，我们首先需要定义一个剪枝策略，如基于权重绝对值的L1...

基于pytorch prune 实现剪枝

@bangbang的博客

03-10

388

局部结构化剪枝（Locall Structured Pruning）有两种函数，对应函数原型如下。

Pytorch--自己动手实现模型剪枝

qq_40268672的博客

07-15

6034

pytorch剪枝尽管Pytorch自带了剪枝的工具，但是其在灵活性上终究敌不过自己手写的剪枝代码，以下就是博主模型剪枝的一次简单尝试。代码: import torch.nn as nn import torch import torch.nn.functional as F from torch import optim from torchvision import datasets,transforms from torch.utils.data import DataLoader device

基于pytorch的yolo稀疏训练与模型剪枝

03-05

基于pytorch的yolo稀疏训练与模型剪枝

【pytorch】模型剪枝 model pruning

学渣的博客

04-09

808

torch.nn.utils.prune 是pytorch用于修剪模型的工具包，其通过修改将模型某一层的参数进行限定，然后再使用 prune.remove 函数进行修剪，一般来说，修剪参数值较小的参数，模型的性能也不会发生太大变化。但是要注意，本文介绍的都是非结构剪枝，就是哪些被裁剪为0的参数，在经过模型重新训练以后，会重新进行迭代更新，对于结构剪枝，使用本文的方法不适用，建议采用 github 上面的一些库来进行实现。

如何对pytorch模型进行有效地剪枝

weixin_39326879的博客

06-14

4293

在网络的许多参数中，有些是冗余的，对输出的贡献不大。如果您可以根据神经元在神经网络中的贡献程度对其进行排名，则可以从网络中删除排名较低的神经元，从而使网络更小，更快。建立更快/更小的网络对于在移动设备上运行这些深度学习网络很重要。可以根据神经元权重的L1 / L2平均值，其平均激活次数，某个验证集上神经元不为零的次数以及其他创造性方法来进行排名。修剪后，准确性将下降（修剪较少，下降不会太大），并且通常会训练网络进行更多的恢复。如果我们一次修剪太多，则网络可能会损坏得太多，无法恢复。因此在实践中，这是一个

通道剪枝Channel Pruning

年轻即出发，

10-12

8326

你感觉不舒服的时候，就是成长的时候…… 论文：Channel Pruning for Accelerating Very Deep Neural Networks Github: https://github.com/yihui-he/channel-pruning ICCV2017 旷视科技论文提出了新的通道剪枝方法，基于2步迭代的剪枝方法。首先基于LASSO回...

基于Pytorch的卷积神经网络剪枝

小石的博客

12-17

1万+

本篇博客对网络剪枝的实现方法主要在https://jacobgil.github.io/deeplearning/pruning-deep-learning的基础上进行了相应修改而完成，所参考的论文为https://arxiv.org/abs/1611.06440。本篇博客所使用的代码见https://github.com/PolarisShi/purning。网络...

基于pytorch模型剪枝的实现（极大的减少模型计算参数加快模型运行速度）

热门推荐

帅的发光发亮的博客

10-03

2万+

深度模型剪枝实现以及一些网络优化技巧模型剪枝：Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017).基于论文的代码复现以及拓展：在网络上中加入其它优化方法最强深度学习优化器Rangerwarm up与consine learning rate为什么使用warmup?label smoothapex混合精度训练梯度累加其他网络部署的方式：模型剪枝：Learning Efficient Convolutio

pytorch深度学习入门（13）之-模型剪枝

ajunbin859的专栏

11-16

930

prune.l1_unstructured(module, name="weight", amount=nWeightAmcount) #L1范数剪枝，既绝对值最小的权重移除prune.ln_structured(module, name="weight", amount=nFeatureAmcount, n=2, dim=0) #结构化剪枝，移除卷积核。

PyTorch 模型剪枝实例教程二、结构化剪枝

十二月未央未眠

04-22

5586

目录1.导包&定义一个简单的网络2.获取网络需要剪枝的模块3.模块结构化剪枝（核心）4.总结目前大部分最先进的（SOTA）深度学习技术虽然效果好，但由于其模型参数量和计算量过高，难以用于实际部署。而众所周知，生物神经网络使用高效的稀疏连接（生物大脑神经网络balabala啥的都是稀疏连接的），考虑到这一点，为了减少内存、容量和硬件消耗，同时又不牺牲模型预测的精度，在设备上部署轻量级模型，并通过私有的设备上计算以保证隐私，通过减少参数数量来压缩模型的最佳技术非常重要。稀疏神经网络在预测精度方面可

使用PyTorch实现模型剪枝

05-09

模型剪枝是一种压缩神经网络模型的技术，它可以通过去掉一些冗余的连接和神经元节点来减小模型的大小，从而降低模型的存储和计算开销，同时还可以提高模型的推理速度和泛化能力。 PyTorch是一种非常流行的深度学习框架，它提供了丰富的工具和函数，方便我们实现模型剪枝。下面是使用PyTorch实现模型剪枝的步骤。 1. 导入必要的库和模块 ```python import torch import torch.nn as nn import torch.nn.utils.prune as prune ``` 2. 定义模型这里以一个简单的全连接神经网络为例： ```python class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(784, 512) self.fc2 = nn.Linear(512, 256) self.fc3 = nn.Linear(256, 10) def forward(self, x): x = x.view(-1, 784) x = nn.functional.relu(self.fc1(x)) x = nn.functional.relu(self.fc2(x)) x = self.fc3(x) return x ``` 3. 添加剪枝方法 ```python def prune_model(model, prune_method=prune.L1Unstructured, amount=0.2): """ 对模型进行剪枝 :param model: 待剪枝的模型 :param prune_method: 剪枝方法，默认为 L1Unstructured，也可以是 L2Unstructured 或者 RandomUnstructured 等 :param amount: 剪枝比例，即要去掉的参数的比例 """ # 对模型进行遍历，找到所有可以进行剪枝的层 for module in model.modules(): if isinstance(module, nn.Linear): prune_method(module, name="weight", amount=amount) # 对 weight 进行剪枝 ``` 4. 加载数据集和训练模型这里不再赘述，可以参考 PyTorch 官方文档。 5. 对模型进行剪枝 ```python # 加载训练好的模型 model = Net() model.load_state_dict(torch.load("model.pth")) # 打印模型大小 print("Before pruning:") print("Number of parameters:", sum(p.numel() for p in model.parameters())) # 对模型进行剪枝 prune_model(model) # 打印剪枝后的模型大小 print("After pruning:") print("Number of parameters:", sum(p.numel() for p in model.parameters())) # 保存剪枝后的模型 torch.save(model.state_dict(), "pruned_model.pth") ``` 6. 评估和测试模型同样可以参考 PyTorch 官方文档。以上就是使用PyTorch实现模型剪枝的基本步骤，可以根据具体的需求进行调整和改进。