神经网络模型压缩&实例教程—结构化剪枝

已于 2023-05-08 10:33:40 修改
阅读量741 收藏 4
点赞数 1
分类专栏： 神经网络 文章标签： 神经网络 剪枝 深度学习
于 2023-05-07 22:07:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_59572329/article/details/130548563
版权
本文展示了如何在PyTorch中对LeNet网络的卷积层进行结构化剪枝，特别是通过L2范数选择性地剪枝权重，以减少模型复杂性。首先搭建了LeNet网络，然后选择了conv1模块并应用了ln_structured剪枝方法，剪枝比例为33%，最后通过remove函数使剪枝永久生效，移除了修剪过程中的临时参数。
摘要由CSDN通过智能技术生成

目录

1.导包&定义一个简单的网络

2.获取网络需要剪枝的模块

3.模块结构化剪枝（核心）

4.总结

1.导包&定义一个简单的网络

#!/user/bin/env python3
# -*- coding: utf-8 -*-
# By PyTanAI.2023.05.07.
import torch
from torch import nn
import torch.nn.utils.prune as prune
import torch.nn.functional as F

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

'''搭建类LeNet网络'''
class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
        # 单通道图像输入，5×5核尺寸
        self.conv1 = nn.Conv2d(1, 3, 5)
        self.conv2 = nn.Conv2d(3, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)  
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, int(x.nelement() / x.shape[0]))
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

2.获取网络需要剪枝的模块

model = LeNet().to(device=device)
module = model.conv1
print(list(module.named_parameters()))      # 6×5×5的weight + 6×1的bias 的参数量

 输出：

[('weight', Parameter containing:
tensor([[[[-0.1886,  0.1689,  0.0006,  0.1656,  0.0707],
          [ 0.1573, -0.0014, -0.1035,  0.0448,  0.1883],
          [ 0.1790, -0.0220,  0.0037,  0.1470,  0.1930],
          [-0.0082, -0.0086, -0.0164, -0.1476, -0.1250],
          [-0.1283,  0.1223, -0.1508,  0.0952, -0.0481]]],


        [[[-0.0183,  0.0274,  0.1387, -0.0060,  0.1295],
          [-0.1517, -0.1871,  0.0382,  0.1095,  0.1002],
          [-0.0717, -0.1329,  0.0020,  0.1161,  0.1372],
          [ 0.0108, -0.1599, -0.0527,  0.1284,  0.0222],
          [ 0.1408,  0.1704,  0.0745, -0.1910,  0.1014]]],


        [[[ 0.0449,  0.1346, -0.1890, -0.0563,  0.0462],
          [-0.0788,  0.0057, -0.0536, -0.0356, -0.0771],
          [ 0.1984,  0.1494,  0.1578,  0.0566, -0.1480],
          [ 0.0585,  0.0059,  0.0954,  0.1955,  0.0770],
          [-0.1679, -0.0318,  0.1034, -0.0277, -0.0480]]]], device='cuda:0',
       requires_grad=True)), ('bias', Parameter containing:
tensor([ 0.1860, -0.0283, -0.1901], device='cuda:0', requires_grad=True))]

3.模块结构化剪枝（核心）

剪枝一个模块，需要三步：

  • step1.在torch.nn.utils.prune中选定一个剪枝方案，或者自定义(通过子类BasePruningMethod)
  • step2.指定需要剪枝的模块和对应的名称
  • step3.输入对应函数需要的参数

 这里，我们根据通道的L2范数，沿着张量的第0轴（第0轴对应卷积层的输出通道，conv1的维数为3×5×5）对weight参数进行结构化剪枝，使用ln_structured()方法。剪枝比例为33%，dim为0，基于L2范数（n=2）

prune.ln_structured(module, name="weight", amount=0.33, n=2, dim=0)
print(module.weight)

输出： 

tensor([-0.1277,  0.0365, -0.0475], device='cuda:0', requires_grad=True))]
tensor([[[[-0.0000,  0.0000, -0.0000, -0.0000,  0.0000],
          [ 0.0000,  0.0000,  0.0000, -0.0000, -0.0000],
          [-0.0000,  0.0000, -0.0000,  0.0000,  0.0000],
          [ 0.0000, -0.0000, -0.0000,  0.0000,  0.0000],
          [ 0.0000, -0.0000,  0.0000,  0.0000, -0.0000]]],


        [[[-0.1167,  0.1299, -0.1941, -0.0426, -0.1658],
          [ 0.1906, -0.0087,  0.0125, -0.0981, -0.0469],
          [ 0.1716, -0.1744,  0.1467, -0.0231,  0.0885],
          [-0.0793, -0.0523, -0.0424, -0.1222,  0.0029],
          [-0.0573, -0.1058, -0.0319, -0.1033,  0.1366]]],


        [[[-0.1145, -0.1666, -0.0811,  0.0916, -0.0191],
          [-0.1735,  0.0730,  0.1786, -0.1338, -0.0941],
          [ 0.0123, -0.0719,  0.1999,  0.1462, -0.0013],
          [ 0.0112, -0.0411,  0.1806, -0.0925,  0.0962],
          [-0.0791,  0.1241,  0.1079,  0.0158, -0.1588]]]], device='cuda:0',
       grad_fn=<MulBackward0>)

所有相关的张量，包括mask缓冲区和用于计算剪枝张量的原始参数都存储在模型的state_dict中，因此，如果需要，可以很容易地序列化和保存。 

print(model.state_dict().keys())

 输出：

odict_keys(['conv1.bias', 'conv1.weight_orig', 'conv1.weight_mask', 'conv2.weight', 'conv2.bias', 'fc1.weight', 'fc1.bias', 'fc2.weight', 'fc2.bias', 'fc3.weight', 'fc3.bias'])

要使修剪永久存在，可以删除weight_trans（orig）和weight_mask重新参数化，并删除forward_pre_hook，可以使用torch.nn.util.prune中的remove函数。注意，这并没有取消修剪，就像它从未发生过一样。它只是简单地使它永久存在，相反，在它的剪枝版本中，通过将参数的权重重新分配给模型参数。

print(list(module.named_parameters()))
print(list(module.named_buffers()))
print(model.state_dict().keys())

 输出：

[('bias', Parameter containing:
tensor([ 0.1144, -0.1641,  0.0962], requires_grad=True)), ('weight', Parameter containing:
tensor([[[[ 0.0142,  0.1698, -0.0730, -0.0358, -0.1309],
          [ 0.1520,  0.1900, -0.0843,  0.0950,  0.1674],
          [-0.1724,  0.1453, -0.1764,  0.0345, -0.1767],
          [ 0.0727,  0.1170,  0.1585, -0.0713, -0.0158],
          [ 0.1485, -0.0270, -0.0164,  0.0889,  0.1170]]],

        [[[ 0.0000, -0.0000, -0.0000,  0.0000, -0.0000],
          [ 0.0000,  0.0000, -0.0000,  0.0000, -0.0000],
          [ 0.0000,  0.0000, -0.0000, -0.0000,  0.0000],
          [ 0.0000,  0.0000, -0.0000, -0.0000, -0.0000],
          [-0.0000,  0.0000,  0.0000,  0.0000,  0.0000]]],

        [[[-0.1681,  0.1801, -0.0567, -0.0366,  0.0085],
          [ 0.0495,  0.0320, -0.0127, -0.1761, -0.0948],
          [ 0.1340,  0.1103,  0.1332, -0.1911, -0.1225],
          [ 0.0781, -0.0920, -0.1759,  0.0977,  0.0030],
          [-0.0436, -0.1694, -0.0094, -0.0553, -0.0591]]]], requires_grad=True))]
[]
odict_keys(['conv1.bias', 'conv1.weight', 'conv2.weight', 'conv2.bias', 'fc1.weight', 'fc1.bias', 'fc2.weight', 'fc2.bias', 'fc3.weight', 'fc3.bias'])

使用remove函数后

prune.remove(module, 'weight')
print(list(module.named_parameters()))
print(list(module.named_buffers()))
print(model.state_dict().keys())

输出：

[('bias', Parameter containing:
tensor([ 0.1144, -0.1641,  0.0962], requires_grad=True)), ('weight', Parameter containing:
tensor([[[[ 0.0142,  0.1698, -0.0730, -0.0358, -0.1309],
          [ 0.1520,  0.1900, -0.0843,  0.0950,  0.1674],
          [-0.1724,  0.1453, -0.1764,  0.0345, -0.1767],
          [ 0.0727,  0.1170,  0.1585, -0.0713, -0.0158],
          [ 0.1485, -0.0270, -0.0164,  0.0889,  0.1170]]],

        [[[ 0.0000, -0.0000, -0.0000,  0.0000, -0.0000],
          [ 0.0000,  0.0000, -0.0000,  0.0000, -0.0000],
          [ 0.0000,  0.0000, -0.0000, -0.0000,  0.0000],
          [ 0.0000,  0.0000, -0.0000, -0.0000, -0.0000],
          [-0.0000,  0.0000,  0.0000,  0.0000,  0.0000]]],

        [[[-0.1681,  0.1801, -0.0567, -0.0366,  0.0085],
          [ 0.0495,  0.0320, -0.0127, -0.1761, -0.0948],
          [ 0.1340,  0.1103,  0.1332, -0.1911, -0.1225],
          [ 0.0781, -0.0920, -0.1759,  0.0977,  0.0030],
          [-0.0436, -0.1694, -0.0094, -0.0553, -0.0591]]]], requires_grad=True))]
[]
odict_keys(['conv1.bias', 'conv1.weight', 'conv2.weight', 'conv2.bias', 'fc1.weight', 'fc1.bias', 'fc2.weight', 'fc2.bias', 'fc3.weight', 'fc3.bias'])

可以发现，缓冲区中保存的mask参数没了

4.总结

本示例首先搭建了一个类LeNet网络模型，为了进行结构化剪枝，我们选取了LeNet的conv1模块，该模块参数包含为3×5×5的weight卷积核参数和3×1的bias参数，通过示例，我们利用torch.nn.prune中的ln_structured剪枝方法，实现了对weight的3个通道中其中一个通道进行了L2 norm结构化剪枝。

本文用到的核心函数方法：

  1. model.state_dict().keys()，模型所有的张量参数，还包括了mask缓冲区的参数
  2. prune.ln_structured()，Lx Norm结构化剪枝
  3. prune.remove()，从模块中移除修剪重参数化。已修剪的名为name的参数将保持永久修剪，而名为name+_trans （orig）的参数将从参数列表中删除。类似地，名为name+_mask的缓冲区将从缓冲区中删除。
     

参考资料：Pytorch官方剪枝教程

码上边城
关注
专栏目录
神经网络模型剪枝_完整项目_CodingPark编程公园
CodingPark 编程公园
03-22 636
@神经网络模型剪枝 @神经网络的各个参数
神经网络的知识蒸馏与模型压缩
AI架构设计之禅
04-22 716
1.背景介绍 1.1 神经网络的复杂性 在深度学习的研究中，神经网络的复杂性是一个无法回避的问题。随着神经网络模型的规模越来越大，其计算量也随之增大，这对硬件的要求和计算成本都有很大的提高。同时，大规模的神经网络模型在推理阶段也会消耗大量的计算资源，这在一些资源有限的场景下（如移动设备、嵌入式设备）是
【综述】结构化剪枝
qq_59572329的博客
05-13 1855
深度卷积神经网络（CNNs）的显著性能通常归因于其更深层次和更广泛的架构，这可能会带来巨大的计算成本。剪枝神经网络有效地降低了存储和计算成本，因此引起了人们的兴趣。。结构化剪枝的特殊要求导致了许多新挑战的发现和创新解决方案的发展。本文综述了深度CNN的结构化剪枝的最新进展。我们总结和比较了最新的结构化剪枝技术，包括。在讨论结构化剪枝算法时，我们简要介绍了非结构化剪枝对等物，以强调它们的区别。
【读点论文】结构化剪枝
白水空空
11-11 1066
在一个神经网络模型中，通常包含卷积层、汇合层、全连接层、非线形层等基本结构，通过这些基本结构的堆叠，最终形成我们所常用的深度神经网络。早在 1998 年，LeCun 等人使用少数几个基本结构组成 5 层的 LeNet-5 网络，并在 MNIST 数据集上得到了 98.9%的分类精度，但此时的深度神经网络还相对简单，并且只能用于简单的任务上；在 2012 年的 ImageNet 图像分类竞赛中，AlexNet将深度提高到了 8 层，并且达到了远超传统方法的结果；
结构化剪枝综述
数据派THU
11-21 4251
来源：专知 本文附论文，建议阅读6分钟 本文为结构化剪枝综述。卷积神经网络（Convolutional Neural Networks）特别是深度神经网络（Deep Neural Netw...
神经网络模型压缩技术—剪枝
qq_59572329的博客
05-04 6742
利用神经网络参数的冗余性和网络结构的冗余性精简模型,在不影响任务完成度的情况下,得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小,相比原始模型能够满足更加广泛的应用需求。剪枝方法探索模型权重中的冗余， 并尝试删除/修剪冗余和非关键的权重。剪枝分为结构化剪枝和非结构化剪枝，两者区别在于是否会一次性删除整个节点或滤波器。
深度学习模型压缩与加速理论与实战（一）：模型剪枝
贝壳er的博客
12-27 3396
记录以下最近实验室的工作：模型的压缩和加速，虽然针对的是yolov3，但是剪枝的对象还是CBL层（即Conv Layer + BN Layer + LeakyReLU Layer），因此我觉得可能有一些通用的参考价值。 文章目录通道剪枝：稀疏训练策略层剪枝：微调精度恢复训练：github 剪枝顾名思义，就是通过一些算法或规则删去一些不重要的部分，来使模型变得更加紧凑，减小计算或者搜索的复杂度，一种典型的模型剪枝方法如下图： 它包括四个迭代步骤: 评估一个预先训练的深度模型中每个组件的重要性; 剔除对.
pytorch深度学习入门（13）之-模型剪枝
ajunbin859的专栏
11-16 963
prune.l1_unstructured(module, name="weight", amount=nWeightAmcount) #L1范数剪枝，既绝对值最小的权重移除prune.ln_structured(module, name="weight", amount=nFeatureAmcount, n=2, dim=0) #结构化剪枝，移除卷积核。
Python深度学习实践：神经网络的量化和压缩
最新发布
AI天才研究院
07-15 586
Python深度学习实践：神经网络的量化和压缩 1. 背景介绍 1.1 问题的由来 随着深度学习技术的快速发展，神经网络模型变得越来越庞大且复杂，这带来了两个主要问题：内存消耗和计算成本。大型模型在部署到移动设备、物联网设备或其他
多模态大模型：技术原理与实战 模型压缩技术介绍
AI天才研究院
07-04 767
随着人工智能技术的快速发展，多模态大模型因其强大的综合处理能力，被广泛应用在诸如自然语言处理、计算机视觉、语音识别等多个领域。然而，这些模型通常拥有庞大的参数量，动辄数千万乃至数十亿参数，这对于计算资源的需求和部署成本都带来了巨大挑战。因此，如何在保持模型性能的同时，减轻计算负担，降低存储成本，成为了亟待解决的问题。参数共享：通过共享参数来减少重复计算，提高效率。注意力机制：聚焦于重要信息，减少不必要的计算。知识蒸馏：小模型学习大模型的知识，减少参数量同时保持性能。量化。
BP神经网络Skeletonization剪枝方法识别手写数字
06-29
用Skeletonization剪枝方法精简BP神经网络结构，提高网络泛化能力，对手写数字进行识别。
基于Pytorch的卷积神经网络剪枝
热门推荐
小石的博客
12-17 1万+
       本篇博客对网络剪枝的实现方法主要在https://jacobgil.github.io/deeplearning/pruning-deep-learning的基础上进行了相应修改而完成，所参考的论文为https://arxiv.org/abs/1611.06440。本篇博客所使用的代码见https://github.com/PolarisShi/purning。        网络...
模型轻量化操作——剪枝
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
09-04 8507
删除权重小于一定阈值的连接或者神经元节点得到更加稀疏的网络。
【开源】三行代码对pytorch模型进行剪枝压缩
梁瑛平的博客
04-24 2745
【开源】三行代码对pytorch模型进行剪枝压缩pytorch-Autoslim2.01 Introduction 项目介绍① Architecture 系统架构2 Support 支持度① Supported Models 支持的模型② Pruning Algorithm 剪枝算法3 Installation 安装4 Instructions 使用介绍Automatic Pruning 自动化剪枝5 Examples 使用案例①Resnet-cifar10Train 训练Pruning 剪枝Train 微
Deep Compression：Pruning （剪枝模型压缩）
luo2007专栏Gods determine what you're going to be！
08-23 3427
caffe 实现剪枝模型压缩 根据“没有免费的午餐定律”,想要好机器学习效果，就要设计很深的网络结构，导致model很大，这篇博客讲述是如何在不降低模型识别率的情况下压缩模型。 其实 network pruning 技术已经被广泛应用到CNN模型的压缩中了。 早期的一些工作中，LeCun 用它来减少网络复杂度，从而达到避免 over-fitting 的效果； 近期，其实也就是作者的第一篇网络压缩论文
模型压缩之网络剪枝（Network Pruning）篇
行云
09-09 5278
1. 背景 今天，深度学习已成为机器学习中最主流的分支之一。它的广泛应用不计其数，无需多言。但众所周知深度神经网络（DNN）有个很大的缺点就是计算量太大。这很大程度上阻碍了基于深度学习方法的产品化，尤其是在一些边缘设备上。因为边缘设备大多不是为计算密集任务设计的，如果简单部署上去则功耗、时延等都会成为问题。即使是在服务端，更多的计算也会直接导致成本的增加。人们正在从各个角度试图克服这个问题，如这几年如火如荼的各处神经网络芯片，其思路是对于给定的计算任务用专用硬件加速。而另一个思路是考虑模型中的计算是不是都
模型剪枝学习路线
荆棘鸟的专栏
02-23 885
1.论文 - Learning both Weights and Connections for Efficient Neural Networks https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/ 2.论文 - Learning Structured Sparsity in Deep Neural Network...
PyTorch--模型剪枝案例
ssunshining的博客
06-04 4121
根据掩码图对应权重矩阵将对应位置上的值替换为0
探索PyTorch优化和剪枝技术相关的api函数
CDBmax的博客
01-08 1226
本文介绍了 PyTorch 深度学习框架中的子模块，重点关注优化和剪枝技术。我们探讨了如何通过各种方法，包括梯度裁剪 (和)、参数向量化 (和) 和剪枝技术（如等），来提高模型的训练效率和性能。此外，我们还探讨了如何应用和移除权重归一化 (和) 和谱归一化 (和) 来进一步优化模型，以及如何使用skip_init在不进行参数初始化的情况下实例化模块。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码上边城

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值