深度学习加速之剪枝、知识蒸馏

已于 2024-06-10 12:13:52 修改
阅读量1.3k 收藏 4
点赞数
分类专栏： AI实战 文章标签： 深度学习 剪枝 人工智能
于 2022-07-28 18:16:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WANGWUSHAN/article/details/119031851
版权
本文详细介绍了深度学习中的模型剪枝和知识蒸馏技术。剪枝分为structured和unstructured pruning，以及local和global pruning，通过减少MACS来加速推理。网络瘦身方法通过BN层scale系数实现结构化剪枝。知识蒸馏则利用大型teacher net指导小型student net学习，保留重要信息，提高模型效率。实验表明，知识蒸馏能有效提升模型性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Pruning Techniques for Deep Neural Networks

1.剪枝

1.1 剪枝分类

此内容来自https://www.cs.princeton.edu/courses/archive/spring21/cos598D/lectures/pruning.pdf。

1.1.1 structured pruning和unstructured pruning

在这里插入图片描述
Smart Pruning: Improve Machine Learning Performance on Mobile指出，非结构化剪枝的目的是将比较大的模型部署在移动端，而其推理时间没有什么变化（operation仍然和剪枝前一致）。

This h

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文弄懂模型知识蒸馏、剪枝、压缩、量化
实践出真理，接毕设/课设项目开发指导
02-01 4177
两个网络各选取几个关键的层（比如各5个，这些层两两之间是对应的），然后使用一种方法来衡量对应两层输出的相似度以计算损失，比如就将两个特征图的所有像素的均方差和作为该层的loss，这个loss就反映了学生网络的输出与老师网络输出的相似性，相似度越高说明小网络越能学到老师网络的精粹。基于层的剪枝，是可以直接去掉该层的，因此，属于真正意义上的剪枝，参数变少了，注意在对具有shortcut的结构进行剪枝时，需要在裁剪CBL后，调整相应的结构，以使网络结构正常，如去除shortcut等。那还表示个毛的原信息啊！
从剪枝到知识蒸馏：深度学习模型压缩与加速的多重策略
一键难忘的博客
02-01 2543
模型压缩与加速技术是深度神经网络应用中不可或缺的一部分，尤其是在资源受限的环境中。通过合理运用剪枝、量化、知识蒸馏等技术，并结合硬件加速与计算图优化，可以显著提升模型的性能和效率。随着技术的不断进步，未来的深度学习应用将在嵌入式设备、移动端、实时计算等领域发挥更大的潜力。模型压缩与加速技术为深度神经网络在资源受限环境中的部署提供了有效的解决方案。剪枝、量化、知识蒸馏等技术能够有效减小模型的计算量和存储需求，在保证精度的同时提升推理速度。然而，这些技术仍然面临一些挑战，如精度损失、复杂度增加等。
模型优化——模型剪枝、模型量化、知识蒸馏
Xiao_Ya__的博客
05-30 4155
模型优化——模型剪枝、模型量化、知识蒸馏
深度学习模型剪枝： Pcdet-PointPillars 剪枝流程及结果
旺仔小姐的博客
02-01 2908
** 深度学习模型剪枝： Pcdet-PointPillars 剪枝流程及结果 ** 1.Pcdet-PointPillars原始模型结构      网络部分包含4部分：     （1）PillarVFE     （2）PointPillarScatter     （3）BaseBEVBackbone     
一文全面解析大模型压缩中的四大关键技术：【知识蒸馏、量化、剪枝、分解】【建议收藏】
最新发布
u013891230的博客
03-11 1402
深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。本文在从整体上全面解析大模型压缩中的四大关键技术：【知识蒸馏、量化、剪枝、分解】。
深度学习知识蒸馏、量化、剪枝学习笔记
weixin_39608351的博客
01-01 2014
1.网络最后一层(全连接层)的输出为类别得分scores(也加logits),使用sofxmax对logits映射为概率分布,且和为1,添加t参数,使网络概率分布更加平缓.如下为添加t参数方式. import numpy as np #原softmax函数,numpy实现 def softmax(x): x_exp = np.exp(x) return x_exp / np.sum(x_exp) output = np.array([0.1, 1.6, 3.6]) print(sof
ECCV 2022 | 新方案: 先剪枝再蒸馏
CV技术指南（微信公众号）
08-28 3315
论文提出了一个新的框架，“prune, then distill”，该框架首先剪枝模型，使其更具可移植性，然后提取给student。并进一步从理论上证明了剪枝后的teacher在蒸馏中起到正则化器的作用，减少了泛化误差。...
知识蒸馏、模型剪枝与量化
qzm212422的专栏
06-30 4264
1. 模型蒸馏 2. 模型剪枝 3. 模型稀疏化
深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）
haopinglianlian的博客
11-30 3089
本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。
万字长文-深度学习模型压缩和加速-量化、剪枝、蒸馏等
谢杨易的博客
04-30 1万+
1 背景 近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有： 减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题...
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 3万+
知识蒸馏综述
【模型压缩】模型剪枝，知识蒸馏，ShuffleNet知识与实战小结
HollrayChan的博客
03-05 2720
【模型压缩】模型剪枝，知识蒸馏，ShuffleNet知识与实战小结 什么是知识蒸馏： 根据Hinton15年的文章，Distilling the knowledge in aneural network来看，模型蒸馏的设计思路，和物理变化上的蒸馏确实是很像的，而论文中涉及到的一些关键词，也是用相应的物理词汇进行描述。最具有代表性的就是关于温度变化的超参数T，通过T来改变建立的soft target...
模型压缩-模型蒸馏、模型剪枝、模型量化
cjnn0710的博客
08-07 3710
过参数化主要是指在训阶段，在数学上需要进行大量的微分求解，去捕捉数据中的微小的变化信息，一旦完成迭代式的训练之后，网络模型在推理的时候不需要这么多参数，而剪枝算法正是基于过参数化的理论基础提出来的。剪枝算法核心思想就是减少网络模型中的参数量和计算量，同时尽量保证模型的性能不受影响。数字精度（如32位浮点数、16位浮点数或8位浮点数或8位整数），所能表示的范围不同。不同的数字精度会影响模型大小和推理时间，范围越大，精度越高，模型越大，推理时间越长。卷积神经网络特点：参数量大，计算量大，内存占用多，精度高。
【论文笔记_剪枝_知识蒸馏_2022】INDISTILL: TRANSFERRING KNOWLEDGE FROM PRUNED INTERMEDIATE LAYERS
qq_45128278的博客
06-02 605
在资源有限的硬件上部署深度神经网络，如智能手机和无人机，由于其计算复杂性，构成了巨大的挑战。知识提取方法旨在将知识从大型模型转移到轻量级模型，也分别称为教师和学生，而从中间层提取知识为该任务提供了额外的监督。模型之间的容量差距、破坏其架构一致性的信息编码以及缺乏用于转移多层的适当学习方案限制了现有方法的性能。在本文中，我们提出了一种新的方法，称为InDistill，它可以通过利用通道剪枝的属性来显著提高现有单层知识提取方法的性能，以减少模型之间的容量差距并保持体系结构的一致性。此外，我们提出了一个基于课程学
深度学习之模型蒸馏、剪枝等文献机器源码实现
Vertira的博客
01-13 445
下面这个既有源码，又有文献 深度学习模型优化+模型蒸馏+模型压缩_cbd_2012的博客-CSDN博客_模型压缩 模型蒸馏深度学习模型优化+模型蒸馏+模型压缩、https://blog.csdn.net/shentanyue/article/details/83539382经典论文：（1）Distilling the Knowledge in a Neural Network地址：https://arxiv.org/pdf/1503.02531.pdf（2）Paying More Attentio....
模型压缩：剪枝、量化、蒸馏
金闪闪_Li的博客
04-07 2577
在模型应用程序中，推理时间是至关重要的，模型压缩是缩短推理时间的有效办法，常见的模型压缩方法有剪枝、量化和知识蒸馏
AI学习_模型优化：剪枝、蒸馏、量化
qq_41848886的博客
03-07 4565
模型优化：剪枝、蒸馏、量化
深度学习blog-剪枝和知识蒸馏
人无再少年
01-13 1211
是一种模型压缩技术，旨在将大型深度学习模型（通常称为“教师模型”）中的知识转移到较小的模型（称为“学生模型”）中。深度学习网络模型从卷积层到全连接层存在着大量冗余的参数，大量神经元激活值趋近于0，将这些神经元去除后可以表现出同样的模型表达能力，这种情况被称为过参数化。因此需要一些技术手段减少模型的复杂性，去除一些不重要的参数和连接，从而提高模型在推理阶段的效率，减少存储需求，同时可能还能够降低过拟合的风险。教师的结构是预定义的，很少关注教师模型的结构及其与学生模型的关系。由于剪枝后的模型通常很。
深度学习模型压缩技术：剪枝量化蒸馏与加速
AI天才研究院
08-14 268
作者：禅与计算机程序设计艺术 1.简介 随着移动设备计算能力的提升、数据集的增加和神经网络的深度加深，深度学习模型的规模也在逐渐增长。为了减少计算资源、提高神经网络推理速度和降低功耗，研究者们提出了模型压缩技术，即将原本庞大的深度学习模型中的冗余参数剔除或降低其精度，从而得到一个较小且准确的模型。模型压
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

外卖猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值