网络轻量化 - 知识蒸馏（knowledge distillation）

最新推荐文章于 2023-08-19 12:05:56 发布
最新推荐文章于 2023-08-19 12:05:56 发布
阅读量2.6k 收藏 4
点赞数
文章标签： 网络 机器学习 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bro_Jun/article/details/122321237
版权
本文介绍了知识蒸馏的概念，这是一种通过模仿预先训练好的大型网络（teacher）来训练小型网络（student）的技术，以实现模型的轻量化。文章探讨了集成模型的优缺点，并详细阐述了知识蒸馏的思想，包括引入温度参数T来丰富信息蒸馏，以及通过调整Loss Function实现student网络的学习。这种方法有助于解决深度学习模型在移动端应用的计算资源和效率问题。
摘要由CSDN通过智能技术生成

原文：《Distilling the Knowledge in a Neural Network》

目录

前期知识

集成模型（Ensemble Models）

通过结合了来自多个模型的决策，以提高最终模型的稳定性和准确性。

Bagging

  • 从原始样本抽取训练集：每轮从原始样本集抽取 n 个样本，共进行 k 轮抽取，获得 k 个训练集
  • 每次使用一个训练集获得一个模型，共得到 k 个模型
  • 对 k 个模型的预测结果进行组合（例如投票法
最低0.47元/天 解锁文章
Bro_Jun
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【29】知识蒸馏(knowledge distillation)测试以及利用可学习参数辅助知识蒸馏训练Student模型
Clichong
03-19 3540
如有错误，恳请指出。 这里主要是对知识蒸馏进行测试已查看效果，其中包含对温度设置所带来的变化；以及可学习参数的设置，设置了一个通过调整两个参数拟合一条直线的小实验；最后测试了知识蒸馏给Student网络带来的效果，与可学习参数对知识蒸馏过程带来的效果。 其中，对于知识蒸馏的理论介绍见：知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍 文章目录1. Temperature Control2. Learnable Parameters3. Knowledge Distillation4. Learnable .
Structured Attention Knowledge Distillation for Lightweight Netw
01-17
知识蒸馏是深度学习领域的一种重要技术，它旨在通过将大型、复杂的教师网络（Teacher Network）学...这种方法不仅在理论上有重要的贡献，也在实际应用中展示了其潜力，为深度学习模型的轻量化和高效化提供了新的思路。
知识蒸馏 | (1) 知识蒸馏概述
sdu_hao的博客
03-18 3444
原文地址 这是一篇关于【知识蒸馏】简述的文章，目的是想对知识蒸馏学习的内容和问题进行总结。笔者挑选了部分经典的paper详读，希望对于对KD有需求的同学提供一个概览和帮助。 引子 昆虫记里写道：”蝴蝶以毛毛虫的形式吃树叶积攒能量逐渐成长，最后变换成蝴蝶这一终极形态来完成繁殖”。虽然蝴蝶和毛毛虫两者本质是同一种生物，但是面对不同环境和任务的时候，形态不同——毛毛虫形态下可以更方便地吃树叶，保护自己，...
轻量化网络之知识蒸馏
总有人间一两风，填我十万八千梦
07-02 2100
随着人工智能的不断发展，深度学习模型的体量也变得越来越大，但在某些应用场景下，深度学习模型的大体量却容易成为项目落地的障碍，因此我们迫切地需要想办法把模型变小。这里介绍一种能解决该痛点的轻量化模型Knowledge distillation(知识蒸馏)......
知识蒸馏（Knowledge Distillation）【学习笔记】
qq_23022733的博客
06-12 750
参考：1、知识蒸馏综述：
知识继承概述
最新发布
小白的Soda的博客
08-19 1419
尽管在探索各种预训练技术和模型架构方面做出了巨大努力，研究人员发现，简单地扩大模型容量、数据大小和训练时间可以显著提升模型性能，然而更多的模型参数也意味着更昂贵的计算资源、训练成本。蒸馏指的是把不纯净的水加热变成蒸汽，蒸汽冷凝之后变成冷凝水。知识蒸馏也是把有杂质的东西，大的东西变成小的东西，纯的东西。把一个大的模型(教师模型)里面的知识给萃取蒸馏出来浓缩到一个小的学生模型上。教师网络最终输出Soften Label（这里主要针对分类问题而言，相当于老师直接给答案，学生由答案反推问题的求解步骤）
基于知识蒸馏的分布式神经网络设计.pdf
08-08
知识蒸馏（Knowledge Distillation）是一种模型压缩技术，通过训练数据输入到一个训练好的、高准确率的教师模型中，得到教师模型的输出结果，学生模型根据输出结果进行学习。学生模型的训练过程中，除了传统的硬标签...
应用知识蒸馏的深度神经网络波束形成算法.pdf
09-25
通过将大模型的复杂学习成果转化为小模型可以理解和执行的形式，知识蒸馏为实现轻量化、高效的模型提供了可能，尤其在嵌入式设备和边缘计算场景中，这种技术尤为重要。 总的来说，这篇论文探讨了如何利用深度学习和...
基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化和模型压缩实现
03-13
在模型轻量化和压缩的过程中，除了剪枝之外，还可以结合其他技术如量化（Quantization）、蒸馏（Knowledge Distillation）等。量化将浮点数权重转换为低精度整数，以减小模型大小并加速计算。知识蒸馏则是将大模型...
【IRG知识蒸馏】：ResNet50蒸馏ResNet18实战
年少的勇气已经用完，剩下的就是三思而后行
11-18 1251
复杂度的检测模型虽然可以取得SOTA的精度，但它们往往难以直接落地应用。模型压缩方法帮助模型在效率和精度之间进行折中。知识蒸馏是模型压缩的一种有效手段，它的核心思想是迫使轻量级的学生模型去学习教师模型提取到的知识，从而提高学生模型的性能。已有的知识蒸馏方法可以分别为三大类：模型没有用pytorch官方自带的，而是参照以前总结的ResNet模型修改的。ResNet模型结构如下图： ResNet18， ResNet34模型的残差结构是一致的，结构如下： 代码如下： resnet.py 主要修改了输出结果，将每
知识蒸馏：如何用一个神经网络训练另一个神经网络
AI公园
10-15 900
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Tivadar Danka编译：ronghuaiyang导读知识蒸馏的简单介绍，让大家了解知识蒸馏背后的直觉。如果你曾经用...
yolov5知识蒸馏5:训练学生模型YOLOv5s和教师网络YOLOv5m
@bangbang的博客
07-30 1912
ubantu的环境配置网上资源很多，这里就不介绍了。如果没有安装wandb的话，需要先执行。然后根据提示浏览器打开。如果显存比较小,修改。
轻量化设计
weixin_45951911的博客
10-25 3564
关于轻量化设计，相信也是热门讨论话题，从字面意思上来看「轻量」的反义词就是臃肿、拖沓，反映到产品设计中就是界面内容过载，操作步骤繁琐。如果非要用一个字来定义，那就是“多”，内容多，步骤多。轻量化设计是，去除繁杂厚重的装饰效果，转而向“扁平化”风格发展，采用二维平面化元素，避免使用阴影、渐变、投影等立体效果的设计，图片、按钮、导航简洁利落，拒绝羽化、阴影这样的特效，为应用带来简洁、清爽的美感。 ...
【深度学习】（一）知识蒸馏
mjiansun的专栏
08-17 1979
近年来，知识提炼中的神经结构搜索，即在教师模型的指导下，对学生结构和知识转移进行联合搜索，将是未来研究的一个有趣课题。Offline Distillation缺点是教师网络通常容量大，模型复杂，需要大量训练时间，还需要注意教师网络和学生网络之间的容量差异，当容量差异过大的时候，学生网络可能很难学习好这些知识。然而，现有的在线方法（如相互学习）通常不能解决在线设置中的大容量教师，因此，进一步探索在线设置中教师和学生模型之间的关系是一个有趣的话题。这部分将探讨的教师模型和学生模型的结构之间的关系，如上图所示。.
知识蒸馏（Distillation）
weixin_30539625的博客
09-20 698
蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。 我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。首先，T值很大，相当于用很高的温度将关键的分布信息从原有的数据中分离，之后在同样的温度下用新模型融合蒸馏出来的数据分布，最后恢复温度，让两者充分融合。这也可以看成Prof. Hinton将这一个迁移学习过程命名为蒸馏的原因。 蒸馏神经网络想做的...
理解知识蒸馏
雄关漫道真如铁 而今迈步从头越
07-16 4289
《理解知识蒸馏》   本文是对知识蒸馏方法在分类场景的应用来讨论的。知识蒸馏是一种从复杂模型向简单模型迁移知识的方法，我觉得和Label smooth有相似的地方，就是soft-labels，soft-labels有正则的功能，而且具有容错性。但是显然知识蒸馏得到的soft-labels会包含更多的所谓dark knowledge，能够让模型get到更多的信息。 Key Words：Label smooth、dark knowledge、knowledge distillation Beijin.
知识蒸馏中的知识
LFGxiaogang的博客
11-03 688
https://www.cnblogs.com/jins-note/p/9679450.html 1. T参数是什么？有什么作用？ T参数为了对应蒸馏的概念，在论文中叫的是Temperature，也就是蒸馏的温度。T越高对应的分布概率越平缓，为什么要使得分布概率变平缓？举一个例子，假设你是每次都是进行负重登山，虽然过程很辛苦，但是当有一天你取下负重，正常的登山的时候，你就会变得非常轻松，可以比别人登得高登得远。 同样的，在这篇文章里面的T就是这个负重包，我们知道对...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值