知识蒸馏详解

最新推荐文章于 2024-08-29 17:39:27 发布
最新推荐文章于 2024-08-29 17:39:27 发布
阅读量657 收藏
点赞数 1
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44007213/article/details/115214602
版权

在第一次听到知识蒸馏这个名词时，觉得好高大上，后来听台湾大学李宏毅老师讲解时也是云里雾里。后来我找到一篇文章，应该可以说是我找到的最好，最容易理解的知识蒸馏的文章了，放个链接，推荐大家食用知识蒸馏：新手必看
如果这里边的交叉熵没有弄得很明白，可以参考我的另外一篇博客交叉熵从数学到机器学习
如果大家有找到更详细，更容易理解的知识蒸馏的文章，可以在下面留言链接哦

不过普通话一乙不改名
关注
专栏目录
Pytorch实现的各种知识蒸馏方法-python
06-18
Pytorch实现的各种知识蒸馏方法 Knowledge-Distillation-Zoo Pytorch 实现各种知识蒸馏 (KD) 方法。 本知识库是一个简单的参考资料，主要侧重于基础知识蒸馏/转移方法。 因此没有考虑许多技巧和变化，例如逐步训练、迭代训练、教师集成、KD 方法集成、无数据、自蒸馏、量化等。 希望它对您的项目或研究有用。 我将使用新的 KD 方法定期更新此 repo。 如果我遗漏了一些基本方法，请与我联系。 Lists Name Method Paper Link Code Link Baseline basic model with softmax loss — code Logits通过回归logits模拟学习论文代码ST软目标论文代码AT注意力转移论文代码Fitnet提示薄深度网络论文代码NST神经选择性转移论文代码PKT概率知识转移论文代码 FSP 求解流程过程论文代码 FT 因子转移论文代码 RKD 关系知识蒸馏论文代码 AB 激活边界论文代码 SP 相似性保存论文代码 Sobolev sobolev/jacobian 匹配论文代码 BSS 边
知识蒸馏
oldsummer
05-02 1万+
目录 一 引言 1.1 深度学习的优点 1.2 深度学习的缺点 二 什么是知识蒸馏 2.1 模型压缩 2.2 什么是学习 2.3 什么是知识蒸馏 2.4 知识蒸馏的一般流程 三 知识蒸馏的分类 3.1 模型结构的种类 3.2 知识的分类 3.3 如何蒸馏 四 输出层知识蒸馏 《Distilling the Knowledge in a Neural Network 》 2015 五 中间层知识蒸馏 《Learning Metrics from Teachers: Comp
算法进阶 | 深度学习知识蒸馏的研究综述（建议收藏！）
最新发布
csdn_xmj的博客
08-29 1788
常用的模型压缩方法有4种：知识蒸馏（Knowledge Distillation，KD）、 轻量化模型架构、 剪枝（Pruning）、 量化（Quantization）。知识蒸馏是一种在深度学习中用于模型压缩和知识传递的技术。它通过将大型复杂模型（教师模型）的知识转移给小型简单模型（学生模型），从而优化学生模型的性能。
知识蒸馏简介（Knowledge Distillation）
qq_46684028的博客
09-29 7800
知识蒸馏的背景，概念，知识传递形式，不同蒸馏方法的优缺点，例子的相关介绍
全网最细图解知识蒸馏(涉及知识点：知识蒸馏实现代码，知识蒸馏训练过程，推理过程，蒸馏温度，蒸馏损失函数)
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
11-30 9268
hard targets的预测结果不科学，因为马和驴比马和汽车相似的多。所以驴和汽车都是0，没有表现出这个信息，所以要用soft targets.第二行和第三行是使用百分之3的训练样本并分别用hard target和soft target，结果显示。soft target使我们常用的概率版的标签值。比如输入下面的图片预测。教师网络预测出的soft target具有很多信息。此时学生网络已经训练好，把X输入到学生网络得到结果。学生网络的输入是教师网络的输出。【精读AI论文】知识蒸馏。最后对这两项加权求和。
YOLOv5目标检测之知识蒸馏实战
05-15
PyTorch版的YOLOv5是一个当前非常流行的目标检测器，本课程对YOLOv5进行知识蒸馏实战，来提升其性能。知识蒸馏（Knowledge Distillation）是模型压缩的一种常用的方法。它利用性能更好的大模型的监督信息，来训练一个轻量化小模型，使小模型达到更好的性能和精度。 最早是由Hinton首次提出并应用在分类任务上，这个大模型称之为教师模型，小模型称之为学生模型。来自教师模型输出的监督信息称之为Knowledge(知识)，而学生网络学习迁移来自教师网络的监督信息的过程称之为Distillation(蒸馏)。本课程在YOLOv5 v6.1版本代码的基础上增加知识蒸馏方法，并实际演示针对自己的数据集训练和进行知识蒸馏过程，并讲解原代码针对知识蒸馏的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括：知识蒸馏的基础知识、目标检测中知识蒸馏的方法。实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、训练学生网络（Yolov5s）、训练教师网络（训练YOLOv5m）、知识蒸馏训练。代码讲解篇包括：知识蒸馏具体修改代码的讲解。
yolov8 知识蒸馏源码
12-18
1. 本项目支持多种蒸馏方式，并对蒸馏代码进行详解，比较容易上手。支持 logit和 feature-based蒸馏以及在线蒸馏： (1)在线蒸馏 (2)logit 蒸馏 (3)mimic 特征蒸馏 (4)cwd: channel-wise distillation 特征蒸馏 (5)...
高一化学上册知识点详解.doc
10-07
【高一化学上册知识点详解】 化学实验是学习化学的基础，了解实验安全至关重要。在进行化学实验时，选择合适的瓶塞至关重要，酸性试剂需用玻璃塞或软木塞，而碱性试剂则应选用橡胶塞，以防止试剂对瓶塞的侵蚀。如果...
高一化学上册知识点详解.docx
10-04
### 高一化学上册知识点详解 #### 第一章：从实验学化学 ##### 第一课：化学实验安全与物质的分离与检验 **一、化学实验安全** 1. **瓶塞选择**：依据药品性质选择合适的瓶塞，酸性药品使用**玻璃塞**或**软木塞...
铅酸蓄电池基础知识-构造参数详解
05-13
电解液由硫酸和蒸馏水混合而成，对身体有害，接触后需立即清洗并避免长期接触。 电池的构造主要包括正极板、负极板、隔板、电池槽、电解液等部件。隔板材料有橡胶、PP、PE、PVC和AGM等多种类型，电池槽材质有硬质...
insightface_distill.rar
05-07
"蒸馏"一词在深度学习中通常指的是知识蒸馏，是一种模型压缩技术，旨在将大型、复杂的教师模型的知识转移到小型、高效的弟子模型中。 人脸识别主要涉及人脸检测、特征提取和识别三个步骤。在insightface项目中，...
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
知识蒸馏学习
akaweige的博客
07-03 5196
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
知识蒸馏(Knowledge Distillation)
qq_41048761的博客
04-12 1341
通过蒸馏的方法训练出的Net-S相比使用完全相同的模型结构和训练数据只使用hard target的训练方法得到的模型，拥有更好的泛化能力。
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
Roaddd的博客
02-24 2万+
知识蒸馏综述
知识蒸馏---学习笔记
weixin_43391596的博客
02-06 1028
知识蒸馏---学习笔记整理
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
Clichong
03-19 6929
如有错误，恳请指出。 这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。 在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记录一下知识蒸馏的测试过程，见另外的一篇博客。 文章目录框架1. 知识蒸馏的算法原理1.1 知识的表示与迁移1.2 训练流程1.3 推理过程1.4 KD与Labe Smoothing的区别2. 知识蒸馏的应用场景3. 知识蒸馏的背后机理4. 知识蒸馏.
知识蒸馏方法汇总
村民的菜篮子
11-10 3068
知识蒸馏，互学习
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值