深度学习模型压缩算法综述（三）：知识蒸馏算法+实战

最新推荐文章于 2025-08-01 14:47:29 发布
最新推荐文章于 2025-08-01 14:47:29 发布
阅读量2.1k 收藏 14
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 深度学习-模型压缩（蒸馏剪枝量化） 文章标签： 计算机视觉 python 人工智能 模型压缩 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/117430007
本文介绍了知识蒸馏的概念，探讨了如何使用知识蒸馏进行模型压缩，特别是针对分类和目标检测模型的训练目标和损失函数。通过实验展示了在目标检测任务上应用知识蒸馏的方法，包括YOLO系列模型的优化。文章提供了实验代码链接，并讨论了Deep Mutual Learning，一种相互学习的策略，以提高网络的泛化能力。

深度学习模型压缩算法综述（三）：知识蒸馏算法


在这里插入图片描述

本文禁止转载

项目地址：

https://github.com/Sharpiless/yolov5-distillation-5.0

联系作者：

B站：https://space.bilibili.com/470550823

CSDN：https://blog.csdn.net/weixin_44936889

AI Studio：https://aistudio.baidu.com/aistudio/personalcenter/thirdv

了解本专栏 订阅专栏 解锁全文 超级会员免费看
YOLOv11模型压缩技术全面对比：剪枝、量化、蒸馏的原理与实战
专注Java开发与国产数据库技术分享，涵盖达梦DM8/OceanBase/GaussDB核心原理与实战，兼及DeepSeek大模型部署、YOLOv11训练等AI技术，为开发者提供从基础到进阶的技术干货。
10-12 166
YOLOv11模型压缩技术综述 模型压缩技术是解决计算资源受限环境下部署深度学习模型的关键。本文系统介绍了YOLOv11模型压缩的三种核心技术：剪枝、量化和蒸馏。剪枝技术通过移除冗余参数实现模型轻量化，包括结构化剪枝（通道/卷积核剪枝）和非结构化剪枝；量化技术通过降低数值精度（如FP32→INT8）减少存储和计算量；蒸馏技术则利用教师模型指导学生模型训练，在保持精度的同时减小模型规模。三种技术可单独或组合使用，在工业质检、智慧安防等边缘计算场景中发挥重要作用，使YOLOv11在保持80%精度的同时减少70%
MATLAB算法实战应用案例精讲-【深度学习】扩散模型(DM)（补充篇）
qq_36130719的博客
12-12 2156
概念和定义根据扩散模型的定义，统一的框架可以被描述为两个独立的过程—即前向过程和反向的过程。每个过程有许多性质相似的步骤组成，分别为前向步骤和反向步骤，对于过程中的任意时间t，模型的整体可以被表述为。
【大模型】知识蒸馏（knowledge distillation）算法详解
酒酿小圆子呀～
03-12 3016
虽然基于特征的知识转移为学生模型的学习提供了更多信息，但由于学生模型和教师模型的结构不一定相同，如何从教师模型中选择哪一层特征激活（提示层），从学生模型中选择哪一层（引导层）模仿教师模型的特征激活，是一个需要探究的问题。作者提出了一种称为知识蒸馏的策略，它学习的是教师模型(结构较为复杂的模型)的输出分布(logits)，这种分布信息比原始的(0-1)label具有更加丰富的信息，能够让学生模型(架构较为简单的模型)取得更好的效果。上面一种方法学习目标非常直接，学生模型直接学习教师模型的最后预测结果。
知识蒸馏(Knowledge Distillation)
Cuibaby的博客
11-25 4252
关于知识蒸馏，你一定要了解的三类基础算法
知识蒸馏：《Distilling the Knowledge in a Neural Network》算法介绍及PyTorch代码实例
weixin_44808161的博客
08-02 3091
知识蒸馏开山之作《Distilling the Knowledge in a Neural Network》算法介绍及PyTorch代码实例
知识蒸馏综述
henyaoyuancc的博客
01-07 2285
知识蒸馏简介logit蒸馏开山之作 简介 蒸馏算法分为多种，基于特征、logit以及基于关系的三种 logit蒸馏 开山之作 论文名称：Distilling the Knowledge in a Neural Network Hilton 2015 提出了标签温度的概念，温度T越高，标签越soft 具体步骤： 1）在T=1时训练教师网络 2）在高温下用teancher softmax输出的概率作为soft label，与GT的hard label进行融合训练 hard损失使用交叉熵损失，soft损
知识蒸馏方法的演进历史综述
abcdefg90876的博客
10-13 953
作者：Nishant Nikhil编译：ronghuaiyang导读带你了解知识蒸馏的演进历史。历史2012年，AlexNet在ImageNet数据上的表现超过了所有现有模型。神经网络即...
知识蒸馏 (Knowledge Distillation) 算法
YPeng_Gao的博客
03-18 1687
知识蒸馏是一种强大的模型优化技术，通过将高性能 Teacher 模型的知识迁移到更小的 Student 模型中，实现了模型压缩、加速和性能提升。基于 Logits、特征和对比学习的蒸馏是主流的蒸馏算法，它们各有特点，适用于不同的场景和需求。
量化价值投资AI革命：TensorFlow深度学习模型前沿研究综述
最新发布
AI天才研究院
08-01 1092
1934年，本杰明·格雷厄姆在《证券分析》中提出“价值投资”的核心逻辑——价格是你付出的，价值是你得到的。此后80年，量化投资者用因子模型（如PE、PB、ROE）将这一逻辑转化为可计算的策略，但传统方法受限于线性假设、数据维度和非线性关系处理能力，难以应对复杂的市场环境。当深度学习与TensorFlow相遇，量化价值投资迎来了范式革命：神经网络能自动挖掘非线性因子组合、捕捉时间序列中的长期依赖、融合多模态数据（财务+新闻+舆情），甚至用注意力机制模拟人类分析师的“重点关注”。本文将从背景演变核心概念。
深度学习核心知识点全梳理：从科研基础到算法面试通关
niuTyler的博客
07-12 539
graph TDA[数学基础] --> B[CNN/RNN/Transformer]B --> C[模型训练与调优]C --> D[模型压缩（量化/剪枝）]D --> E[FPGA移植（ONNX/DPU）]E --> F[光学场景落地（红外/光谱处理）]通过本文梳理的知识点，从理论（数学基础、网络架构）到实践（训练调优、模型压缩），再到岗位落地（FPGA移植、光学场景），可形成完整的能力闭环。重点关注CNN在图像处理中的应用和模型量化压缩技术，这是岗位核心竞争力。
深度学习方法（十五）：知识蒸馏（Distilling the Knowledge in a Neural Network），在线蒸馏
热门推荐
Bin 的专栏
10-15 7万+
Distilling the Knowledge in a Neural Network 这篇介绍一下Hinton大神在15年做的一个黑科技技术，Hinton在一些报告中称之为Dark Knowledge，技术上一般叫做知识蒸馏（Knowledge Distillation）。核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。这个概念最早在06年的Paper： Model C...
知识蒸馏算法原理
charles_zhang_的博客
03-21 1万+
知识蒸馏算法原理 “蒸馏”的概念大概就是将本身不够纯净的水通过加热变成水蒸气，冷凝之后就成更纯净的水 知识蒸馏同样使用这种原理，将不太纯净的“知识”通过“蒸馏”的方式获得更加有用或者纯净的“知识” 体现在神经网络中如下图所示： 一个大而臃肿，但知识丰富且高效的“教师网络”，通过转换精准将特定领域的知识传授给“学生网络”，让“学生网络”在某个方面做得很好，并且不那么臃肿，类似“模型压缩” 为什么不直接使用教师网络？因为将算法应用在现实生活中很多设备的算力会被限制，因此需要尽可能.
知识蒸馏综述:蒸馏机制
pprp的博客
12-04 3487
【GiantPandaCV导语】Knowledge Distillation A Suvery的第二部分，上一篇介绍了知识蒸馏中知识的种类，这一篇介绍各个算法的蒸馏机制，根据教师网络是否和学生网络一起更新，可以分为离线蒸馏，在线蒸馏和自蒸馏。 感性上理解三种蒸馏方式： 离线蒸馏可以理解为知识渊博的老师给学生传授知识。 在线蒸馏可以理解为教师和学生一起学习。 自蒸馏意味着学生自己学习知识。 1. 离线蒸馏 Offline Distillation 上图中，红色表示pre-trained, 黄色代表To
知识蒸馏研究综述
LiuAmber的博客
11-28 3620
知识蒸馏综述阅读
综述 | 知识蒸馏（1）
idol24的博客
07-21 3201
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！Knowledge Distillation: A Surveyhttps://arxiv.or...
知识蒸馏 综述 Knowledge Distillation: A Survey
doctor_strange****
04-26 1万+
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
一文全览 | 知识蒸馏算法汇总
小白学视觉
03-06 1768
作者|AI浩 编辑| 小书童原文链接：https://zhuanlan.zhihu.com/p/583273832点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达知识蒸馏有两大类：一类是「logits蒸馏」，另一类是「特征蒸馏」。「logits蒸馏」指的是在softmax时使用较高的温度系数，提升负标签的信息，然后使用Student和Teacher在高温softmax...
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
Clichong
03-19 7644
如有错误，恳请指出。 这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。 在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记录一下知识蒸馏的测试过程，见另外的一篇博客。 文章目录框架1. 知识蒸馏的算法原理1.1 知识的表示与迁移1.2 训练流程1.3 推理过程1.4 KD与Labe Smoothing的区别2. 知识蒸馏的应用场景3. 知识蒸馏的背后机理4. 知识蒸馏.
深度学习目标跟踪算法：2019年综述
"这篇文档是中国图像图形学报在2019年发表的一篇关于深度学习目标跟踪算法的综述，作者包括李玺、查宇飞、张天柱等人。文章详细探讨了近年来深度学习在目标跟踪领域的应用和发展，旨在为相关领域的研究者提供参考。...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值