Pruning 系列 （二）结构化剪枝

已于 2023-05-15 23:52:52 修改
阅读量1.2k 收藏 9
点赞数 2
分类专栏： Network Pruning 学习笔记 文章标签： 剪枝 模型优化
于 2023-05-10 01:01:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19707521/article/details/130591840
版权
本文介绍了在深度学习中进行模型优化的一种方法——结构化剪枝，包括滤波器剪枝和通道剪枝，详细阐述了剪枝的步骤，并提供了剪枝和可视化代码，最后进行了测试验证效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

环境

  • python 3.9
  • numpy 1.24.1
  • pytorch 2.0.0+cu117

结构剪枝

  • 类型

        1.滤波器剪枝(Filter-level):对卷积核组进行纵向的修剪

        2.通道剪枝(channel-level):对卷积核组进行横向的修剪

        3.层剪枝(layer-level):直接删除整个卷积层

一、滤波器剪枝、通道剪枝

二 、剪枝代码

# -*- coding: utf-8 -*-
import numpy as np

#结构化剪枝
#类型：
# 1.滤波器剪枝(Filter-level):对卷积核组进行纵向的修剪
# 2.通道剪枝(channel-level):对卷积核组
了解本专栏 订阅专栏 解锁全文
Pruning 系列 （一）非结构化剪枝
_yuki_
05-09 1011
非结构化修剪得粒度是最细的，因为直接针对的就是某个神经元，因此这类精细的修剪放大足以在不显著影响性能的情况下成功实施。如此精细的粒度允许修剪非常微妙的模式，例如卷积核内的参数。由于修剪权重根本不受任何约束，并且是修剪网络的最佳方式，因此这种范式称为非结构化修剪。
逐层剪枝
东方佑
05-29 943
采取逐层剪枝的方式剪枝网络，可以将算力降低。
深度学习的模型剪枝
yushibing717的博客
06-07 521
尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。
网络轻量化 - 结构化剪枝
Bro_Jun的博客
01-04 2074
目录动机Network SlimmingChannel-Level SparsityLeveraging Scaling Factors in BN LayersChannel Pruning and Fine-tuning 原文：《Learning Efficient Convolutional Networks Through Network Slimming》 动机 训练过程中减去部分权重后的非结构化剪枝无法直接部署在计算设备上，所以可以采用结构化剪枝，直接剪掉整个layer，如下图所示。 Netw
什么是 模型剪枝（Model Pruning）
最新发布
彬彬侠的博客
04-21 1042
模型剪枝（Model Pruning）是一种深度学习模型压缩和加速技术，通过移除模型中冗余或不重要的部分（如权重、神经元、层等），减少模型的参数量和计算量，从而降低存储需求、加速推理，并保持尽可能接近原始模型的性能。剪枝特别适用于在资源受限的设备（如移动设备、边缘设备）上部署大型神经网络。一个使用PyTorch实现结构化通道剪枝的示例，展示如何对一个简单的CNN模型（基于MNIST数据集）进行通道剪枝，并进行微调。
【读点论文】结构化剪枝
白水空空
11-11 1865
在一个神经网络模型中，通常包含卷积层、汇合层、全连接层、非线形层等基本结构，通过这些基本结构的堆叠，最终形成我们所常用的深度神经网络。早在 1998 年，LeCun 等人使用少数几个基本结构组成 5 层的 LeNet-5 网络，并在 MNIST 数据集上得到了 98.9%的分类精度，但此时的深度神经网络还相对简单，并且只能用于简单的任务上；在 2012 年的 ImageNet 图像分类竞赛中，AlexNet将深度提高到了 8 层，并且达到了远超传统方法的结果；
结构化剪枝综述
数据派THU
11-21 4470
来源：专知 本文附论文，建议阅读6分钟 本文为结构化剪枝综述。卷积神经网络（Convolutional Neural Networks）特别是深度神经网络（Deep Neural Netw...
结构化剪枝（Structured Pruning）与动态蒸馏（Dynamic Distillation）
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
04-02 1166
结构化剪枝通过的方式去除冗余参数，保留关键子网络。：生成规则稀疏模式（如4×4权重块），便于GPU/TPU等加速器并行计算。：模块化操作更贴近人类对神经网络功能的理解。Sgrad​w∣∣∇w​L∣∣2​Sact​hVarhx))Stotal​α⋅Sgrad​1−α⋅Sact​W∈R16×16通过，使小模型（学生）逐步学习大模型（教师）的全局语义与局部特征，弥补参数量差距带来的性能损失。
基于生成对抗的结构剪枝——Generative Adversarial Learning
AI Flash
07-29 3764
"Towards Optimal Structured CNN Pruning via Generative Adversarial Learning" 这篇文章提出了非常新颖的结构剪枝策略：基于生成对抗的思路，将剪枝网络设置为生成器（Generator），其输出特征作为Fake，并设置Soft Mask门控一些异质结构的输出（如通道、分支、网络层或模块等）；将预训练模型设置为Baseline，B...
模型轻量化中的模型剪枝（Pruning）方法——结构化剪枝
DuHz的博客
11-12 2104
随着深度学习模型的规模不断扩大，模型的存储和计算需求也随之增加，这在资源受限的设备（如移动设备、嵌入式系统等）上部署模型时成为一大挑战。模型剪枝（Pruning）作为模型轻量化的重要技术，通过减少模型中的冗余参数，提高模型的运行效率。其中，结构化剪枝（Structured Pruning）是一种有效的方法，它通过剪除整个结构单元（如通道、神经元或层）来实现模型的压缩和加速。
非结构化剪枝（Unstructured Pruning）技术解析
浩瀚之水的专栏
03-31 1019
非结构化剪枝通过细粒度移除冗余权重，在理论上实现了极高的模型压缩率，但其实际价值高度依赖硬件对稀疏计算的支持。在 LLM 压缩、边缘智能等场景中，非结构化剪枝与结构化剪枝、量化等技术结合，可最大化发挥其优势。未来随着稀疏计算硬件的普及（如 NPU 支持稀疏指令集），非结构化剪枝有望成为模型轻量化的核心手段之一。
深度学习模型压缩：非结构化剪枝与结构化剪枝的定义与对比
weixin_41544125的博客
03-16 924
非结构化剪枝和结构化剪枝是深度学习模型压缩中的两种重要技术。结构化剪枝通过删除整个结构单元，保留模型的整体结构，更适合硬件加速，但可能需要更多的微调来恢复性能。与非结构化剪枝不同，结构化剪枝的目标是删除模型中的整个结构组件，而不是单个权重。换句话说，非结构化剪枝的目标是直接减少模型中的参数数量，而不改变模型的整体结构。例如，在需要保持高准确率的图像分类或自然语言处理任务中，非结构化剪枝可以有效减少模型的参数量，同时通过微调恢复性能。可以看到，剪枝后的矩阵中零值的分布是随机的，没有固定的模式。
模型压缩 | 结构性剪枝Data-Driven Sparse Structure Selection 以及实际剪枝实现流程
HongYuSuiXinLang的博客
09-10 4867
前言 剪枝的文章文章很多，目前稀疏化的方法有主流的：group lasso; 控制网络结构收缩constrain the structure scale；对网络结构正则化处理regularizing multiple DNN structures。本文主要侧重于channel prune 乃至group/block等结构上稀疏化的方法。这里主要是基于图森的文章： Data-Driven Spar...
Shallowing Deep Networks: Layer-Wise Pruning Based on Feature Representations—基于特征表示的分层剪枝
安静到无声
03-02 773
摘要 近年来，卷积神经网络(Convolutional Neural network, CNNs)在众多应用中取得了成功。然而，这些成功伴随着计算成本和计算资源需求的显著增加，这严重阻碍了在计算能力有限的设备上使用复杂的CNN。在这项工作中，我们提出了一种基于特征表示的分层剪枝方法，旨在将复杂的CNN简化为具有同等性能的更紧凑的CNN。与以往的基于权值信息进行连接式或过滤式剪枝的参数修剪方法不同，我们的方法是通过研究卷积层中学习到的特征来确定冗余参数，剪枝过程是在层级别进行的。实验表明，该方法能够显著降低.
YOLOv3通道+层剪枝，参数压缩98%，砍掉48个层，提速2倍
HanBlogs
12-10 7571
尽管目标检测新算法层出不穷，但在实际工程项目中不少52CV群友还是念着YOLOv3的好。将其部署到边缘设备等时，模型剪枝是非常有必要的，毕竟有原始模型有239M的参数，剪枝后往往也能提速不少。 YOLOv3模型剪枝，瘦身80%，提速100%，精度基本不变 YOLOv3剪枝再升级！ 上述剪枝是减少模型通道数，而今天向大家介绍的工程可以实现通道和层的双向剪枝，在oxford hand 数据集ha...
模型轻量化操作——剪枝
热门推荐
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
09-04 1万+
删除权重小于一定阈值的连接或者神经元节点得到更加稀疏的网络。
写一段剪枝算法代码
weixin_35750483的博客
01-13 131
剪枝算法是用于减少决策树中的搜索空间，提高算法效率的一种算法。下面是一段简单的 Python 代码，用于实现剪枝算法： def prune(node, threshold): if node is None: return prune(node.left, threshold) prune(node.right, threshold) if node...
yolov3-channel-and-layer-pruning
天天放羊的博客
06-16 1883
yolov3-channel-and-layer-pruning 本项目以ultralytics/yolov3为基础实现，根据论文Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017)原理基于bn层Gmma系数进行通道剪枝，下面引用了几种不同的通道剪枝策略，并对原策略进行了改进，提高了剪枝率和精度；在这些工作基础上，又衍生出了层剪枝，本身通道剪枝已经大大减小了模型参数和计算量，降低了模型对资源的占用，而层剪
（论文精读）PRUNING FILTER IN FILTER《滤波器中的剪枝滤波器》
RuanJianNB的博客
07-11 1154
剪枝已成为现代神经网络压缩和加速的一种非常有效的技术。现有的剪枝方法可分为两大类:滤波器剪枝(FP)和权重剪枝(WP)。与WP相比，FP在硬件兼容性方面胜出，但在压缩比方面失败。为了收敛两种方法的强度，我们提出在滤波器中对滤波器进行剪枝。具体来说，我们将滤波器F∈RC×K×K视为K个×K条，即1 × 1个滤波器∈RC，然后通过修剪条纹而不是整个滤波器，我们可以在硬件友好的同时实现比传统FP更细的粒度。我们称我们的方法为SWP (Stripe-Wise Pruning)。
YOLOv8模型剪枝结构图
01-07
### YOLOv8 模型剪枝概述 YOLOv8作为最新一代的目标检测框架，在继承前代优点的基础上进行了多项改进。对于模型剪枝而言，其基本流程与YOLOv5相似，但具体实现细节有所不同。 #### 剪枝过程中的关键技术点 - **准备阶段** 需要准备好用于训练的数据集以及预训练好的YOLOv8模型[^1]。 - **选择剪枝策略** 可选的方法包括但不限于通道级剪枝、神经元重要性评估等技术。这些方法旨在移除冗余参数而不显著降低模型精度[^2]。 - **实施剪枝** 应用选定的技术对网络架构进行精简处理，去除那些贡献较小甚至无用的部分。此过程中需特别注意保留核心特征提取能力。 - **再优化调整** 完成初步修剪之后，通过一定轮次的新一轮迭代学习来弥补可能造成的性能损失，并进一步巩固已有的压缩成果。 - **最终部署** 经过上述步骤得到更轻量化的版本可以被高效地移植至各类终端设备之上完成实际任务。 然而针对具体的`YOLOv8`模型剪枝结构图目前公开资料较少，官方文档也尚未提供详细的可视化图表说明整个剪枝流程的具体形态。通常情况下，这类结构图会展示原始模型各层之间的连接关系及其对应的权重分布情况；经过剪枝后哪些部分被裁减掉了；剩余组件如何重组形成新的紧凑型拓扑结构等内容。 为了更好地理解这一过程，下面给出一个假设性的简化版YOLOv8模型剪枝前后对比示意： ```mermaid graph TB; A[输入图像] --> B{主干网}; B --> C(卷积层组); C --> D{FPN头}; D --> E(预测输出); subgraph "剪枝前" style C fill:#f96,stroke:#333,stroke-width:4px; style D fill:#bbf,stroke:#333,stroke-width:4px; end subgraph "剪枝后" F[输入图像] --> G{精简主干网}; G --> H(减少的卷积层); H --> I{简化FPN头}; I --> J(预测输出); style H fill:#fad,stroke:#333,stroke-width:4px; style I fill:#ddf,stroke:#333,stroke-width:4px; end ``` 该示意图仅作概念性描述之用，真实场景下的变化可能会更加复杂多样取决于所采用的确切算法和技术手段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_yuki_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值