探索高效之道：Diff-Pruning 结构化剪枝框架

最新推荐文章于 2024-09-07 04:33:27 发布
最新推荐文章于 2024-09-07 04:33:27 发布
阅读量491 收藏 10
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_00083/article/details/139734080
版权

探索高效之道：Diff-Pruning 结构化剪枝框架

Diff-Pruning[NeurIPS 2023] Structural Pruning for Diffusion Models项目地址:https://gitcode.com/gh_mirrors/di/Diff-Pruning

Diff-Pruning 是一项针对扩散模型的创新性结构剪枝方法，由 National University of Singapore 的研究者提出。它不仅提高了模型效率，还保证了生成行为的一致性。本文将深入探讨该项目的技术细节，应用场景及其显著特点。

项目介绍

Diff-Pruning 能够有效地减少扩散模型的浮点运算次数（FLOPs），在只消耗原始训练成本的10%-20%的情况下，可达到近50%的计算量优化。其核心亮点在于能够在减小模型规模的同时，维持与预训练模型相似的生成质量。通过四种不同的剪枝策略——幅度、随机、泰勒和Diff-Pruning（项目提出的独特方法），该框架为扩散模型的性能优化提供了新的可能。

Diff-Pruning Framework

技术分析

项目支持多种剪枝方法，包括基于权重大小的幅度剪枝、随机剪枝以及基于泰勒展开的Taylor剪枝。其中，Diff-Pruning 是一种以泰勒展开为基础的结构化剪枝策略，它针对性地识别并移除对模型性能影响最小的组件，从而实现高效的模型压缩。

应用场景

Diff-Pruning 可广泛应用于图像生成任务，如CIFAR-10、CelebA 和 LSUN 数据集。实验结果显示，即使在大幅度剪枝后，模型仍能保持良好的图像合成效果。此外，对于更大的数据集如ImageNet-1K，项目也展示了在条件潜在扩散模型上的应用潜力。

Experiment Results CelebA Results

项目特点

  1. 效率提升: 减少近一半的FLOPs，且只需很小比例的额外训练成本。
  2. 一致性保证: 剪枝后的模型保留了与原模型相近的生成质量。
  3. 多样化的剪枝策略: 支持不同策略以适应不同的模型结构和需求。
  4. 易用性: 提供了清晰的示例代码，方便用户快速上手实践。

使用指南与后续发展

目前项目正在积极扩展中，计划支持更多来自Diffusers库的扩散模型，并上传剪枝后的模型检查点。同时，项目团队也在努力改进与DDIM Repor的兼容性，以提供更好的性能表现。

如果您对高效扩散模型或结构化剪枝感兴趣，Diff-Pruning 是一个值得尝试的前沿工具。立即加入，体验 Diff-Pruning 带来的计算效率提升与模型性能保持之间的完美平衡！

# 您可以按照以下命令开始探索
cd ddpm_exp
bash scripts/simple_cifar_our.sh 0.05
bash scripts/sample_cifar_ddpm_pruning.sh ...
...

参考文献：

  1. Fang, Gongfan, et al. "Structural pruning for diffusion models." Advances in Neural Information Processing Systems (2023).
  2. Fang, Gongfan, et al. "Depgraph: Towards any structural pruning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (2023).

Diff-Pruning[NeurIPS 2023] Structural Pruning for Diffusion Models项目地址:https://gitcode.com/gh_mirrors/di/Diff-Pruning

黎情卉Desired
关注
【Pytorch项目实战】之语义分割：U-Net、UNet++、U2Net
shinuone的博客
02-11 6496
图像分割：对图像中属于特定类别的像素进行分类（逐像素分类）。 图像分类：识别图像中存在的内容。 目标检测：识别图像中的内容和位置（通过边界框）。 语义分割：识别图像中存在的内容以及位置（通过查找属于它的所有像素）。
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
丨汀、的博客
09-05 404
万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南
DiffPruning:差异修剪的有效参数传递学习
05-24
带有参数修剪的参数有效转移学习 尽管针对特定任务的预训练网络微调已在NLP方面取得了重大的经验进步，但网络规模庞大，使得微调难以部署在多任务，受内存限制的环境中。 我们建议使用diff修剪作为一种简单的方法，以在pretrain-finetune框架内实现参数有效的传递学习。 这种方法将微调视为学习特定于任务的差异向量，该向量应用在预训练的参数向量之上，该向量保持不变并在不同任务之间共享。 diff向量在训练期间以L0-范数罚分的可微近似方式进行自适应修剪，以鼓励稀疏性。 随着任务数量的增加，差异修剪变得参数有效，因为它只需要为每个任务存储差异向量的非零位置和权重，而存储共享的预训练模型的成本保持不变。 此外，它不需要在培训期间访问所有任务，这使其在任务到达流或任务集未知的设置中很有吸引力。 我们发现，使用diff修剪进行微调的模型可以匹配GLUE基准上完全微调的基线的性能，而每个任务仅修
推荐文章：探索效率与质量并重的Diffusion模型优化方案 —— Diff-Pruning结构化剪枝...
gitblog_01001的博客
08-18 352
推荐文章：探索效率与质量并重的Diffusion模型优化方案 —— Diff-Pruning结构化剪枝 Diff-Pruning[NeurIPS 2023] Structural Pruning for Diffusion Models项目地址:https://gitcode.com/gh_mirrors/di/Diff-Pruning 项目介绍 Diff-Pruning是一个创新的解决方案，专...
大模型高效微调综述下： DiffPruning、BitFit、LoRa、AdaLoRA、MAM Adapters、UniPELT
qq_56591814的博客
06-23 2861
本文介绍了PEFT中Selective Methods的DiffPruning、 BitFit；重参数化方法中的LoRA和AdaLoRA；以及混合方法中的MAM Adapters和UniPELT。分类方法见PEFT综述论文《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning》
Delta tuning（只抓核心）
Hekena的博客
07-21 1435
2020）提出一种简单的mask方法实现高效finetune。相比一般的finetune，该方法在finetune阶段不对参数进行调整，而是学习一个mask矩阵。对于每一个Transformer层，都会学习一个0-1的矩阵，然后用这个矩阵对该层所有全连接权重进行缩放。公式如下，m表示矩阵中某一个元素，根据一个阈值设置为1或0，再用这个矩阵和每层的全连接参数相乘进行对应元素的缩放。block......................
网络轻量化 - 泰勒剪枝
Bro_Jun的博客
01-04 1547
原文：《PRUNING CONVOLUTIONAL NEURAL NETWORKS FOR RESOURCE EFFICIENT INFERENCE》 目录算法部分通道重要性判断通道重要性判断的主流方法本文的通道重要性判断方法 - 一阶泰勒展开与其他标准联合判断对每个通道的重要性进行归一化FLOPs 正则化使用迭代式剪枝来降低精度损失代码部分hook 介绍register forward hookregister backward hookHook for Tensor 算法部分 通道重要性判断 通道重要性
网络模型剪枝-论文阅读-Deep compression
AManFromEarth的博客
06-24 1021
下载地址：《Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding》 这篇是韩松大神的代表作，是ICLR2016年的best paper，值得好好读一下。 其实这篇论文本质上是《Learning both Weights and Connections for Efficient Neural Networks》的极致扩展，是在这篇论文基础上继续压缩模型，
AI 基础设施的图书馆：智能化知识管理与推荐
最新发布
AI天才研究院
09-07 949
自拟标题 《AI基础设施探秘：图书馆、知识管理与智能推荐系统解析与实战》 博客正文 引言 随着人工智能技术的迅速发展，AI 基础设施在各行各业中的应用越来越广泛，尤其在知识管理与推荐系统领域，AI 技术发挥着至关重要的作用。本文旨在深入探讨 AI 基础设施的图书馆、智能
【论文阅读】【综述】网络的剪枝方法
麒麒哈尔的博客
03-22 4203
文章目录非结构化的Learning both Weights and Connections for Efficient Neural NetworksDEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING结构化的 本文记录一下对model pruning方法的学习，我只是挑了一些代表性的论文阅读一下，了解pruning的思路。 首先推荐一篇博客，闲话模型
学习-共享:利用计算约束和参数共享的硬件友好迁移学习框架（2021-ICML）
weixin_42689397的博客
09-16 702
摘要 针对预先训练过的变压器的特定任务微调在多个NLP任务中取得了性能突破。Y等，由于计算量和参数大小都是随子任务数量线性增长的，由于计算设备上不现实的内存和计算开销，这种方法越来越难以应用到现实世界中。之前关于微调的工作重点是通过共享参数来减少不断增长的参数大小以节省存储成本。然而，与存储相比，计算约束是现代计算环境中微调模型的一个更为关键的问题。在这项工作中，我们提出了一个在多个任务中利用计算约束和参数共享的框架——LeTS 。与传统的微调相比，LeTS提出了一种新的神经体系结构，它包含一个固定的预训练
论文阅读笔记(一)
qq_37923376的博客
12-17 715
频域紧凑三维卷积神经网络 Abstract 本文研究了三维卷积神经网络的压缩和加速问题。为了降低深度神经网络的存储成本和计算复杂度，已经有许多算法通过在预先训练的网络中发现更多的冗余参数来解决这些问题。然而，大多数现有方法被设计用于处理由二维卷积滤波器组成的神经网络(即图像分类和检测)，并不能直接应用于三维滤波器(即时间序列数据)。在本文中，我们提出了一种新的方法，即通过一系列极少参数的学习到的最佳变换将它们转换到频域，来消除三维卷积滤波器的时间维度冗余。此外，这些变换被设定为正交变换，并且特征图的计算可以
Torch-Pruning 库入门级使用介绍
a486259的博客
07-15 1685
项目地址：https://github.com/VainF/Torch-PruningTorch-Pruning 是一个专用于torch的模型剪枝库，其基于DepGraph 技术分析出模型layer中的依赖关系。DepGraph 与现有的修剪方法（如 Magnitude Pruning 或 Taylor Pruning）相结合可以达到良好的剪枝效果。本博文结合项目官网案例，对信息进行结构话，抽离出剪枝技术说明、剪枝模型保存与加载、剪枝技术的基本使用，剪枝技术的具体使用案例。
大语言模型的深度裁剪法
夕小瑶科技说
02-22 1073
宽度剪枝是一种减少大型语言模型（LLMs）计算需求的结构化剪枝方法。它通过减少投影权重矩阵的大小（例如，移除注意力头）来缩小网络宽度，同时保持层数不变。在实践中，如LLM-Pruner和FLAP所展示的，宽度剪枝通过剪除耦合结构（例如，注意力头及其相关的权重连接）来缩小网络宽度。然而，这种方法在受限批处理大小的条件下，对于提高LLMs的自回归生成速度并不有效。
论文笔记：Composable Sparse Fine-Tuning for Cross-Lingual Transfer
missgrass的博客
06-07 868
用于跨语言传输的可组合稀疏微调Abstract1 简介2 Background7 Conclusion and Future Work Abstract 对大型预训练模型的整个参数进行微调已成为迁移学习的主流方法。为了提高效率并防止灾难性的遗忘和干扰，已经开发了适配器和稀疏微调等技术。适配器是模块化的，因为它们可以组合以使模型适应知识的不同方面(例如，专用语言和/或任务适配器)。（每一个模块负责一个功能，然后组合起来）。稀疏微调具有表现力，因为它控制所有模型组件的行为。 在这项工作中，我们介绍了一种具有这两
一文看懂神经网络剪枝算法
qq_19645269的博客
12-13 9899
1. 问题叙述   心血来潮写点最近做的成果，主要分成两个博客来进行阐述。研究生上了一年半看了不少关于剪枝神经网络方面的文章，但是有很少的文章能让人感觉到耳目一新，打通了任督二脉的感觉。   全连接神经网络在很多方面都用的很多，这我就不赘述了，全连接有很强的逼近能力但是很容易导致过拟合。官方的讲的话为： 机器学习与模式识别最核心的问题就是减小系统的复杂度（description -length
深度学习模型压缩方法综述（二）
热门推荐
小时候贼聪明
07-21 2万+
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
剪枝
anpingbo的专栏
03-29 4881
本文主要介绍了一种压缩网络的方法：剪枝。剪枝就是去除网络中一些不重要的神经元，大大降低了计算量和权重数量，提高了网络运行效率。 01 决策树剪枝 决策树剪枝在周志华老师的《机器学习》一书中给了简洁易懂的介绍，此处主要引自书中。 剪枝技术最先被用于决策树，是决策树对付过拟合的重要办法。在决策树学习中，为了尽可能正确分类训练样本，结点划分过程将不断重复，导致结点过多。这时就可能因为决策树学...
位剪枝优化稀疏无乘法神经网络：BIT-PRUNING for Energy-Efficient Deep Learning
本文档《BIT-PRUNING: A SPARSE MULTIPLICATION-LESS DOT-PRODUCT》是在ICLR 2023会议上发表的一篇论文，主要关注在资源受限的边缘设备上实现高效神经网络的方法，特别是针对深度神经网络（DNNs）中的能量效率问题。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

黎情卉Desired

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值