知识蒸馏笔记

已于 2023-04-02 12:53:00 修改
阅读量41 收藏
点赞数
分类专栏： 深度学习 笔记汇总 文章标签： 深度学习
于 2023-04-02 12:49:52 首次发布
原文链接：https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247527921&idx=2&sn=1894bde4de9ecdbb2b31fa2a64cc6551&chksm=fb3ac8facc4d41ec0ab8e9d0d865163524ad741ae9dc8b0e57c269e54894abbce0e0bcd37a3d&scene=27
版权
知识蒸馏是一种有效的深度学习模型压缩方法，通过将大型的教师模型的知识传递给小型的学生模型，实现模型的小型化而不牺牲太多性能。该过程涉及到教师模型的软标签，这些标签包含了更多的概率信息，有助于训练学生模型。文章详细讨论了知识蒸馏的原理和应用。
摘要由CSDN通过智能技术生成

知识蒸馏：
参考
https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247527921&idx=2&sn=1894bde4de9ecdbb2b31fa2a64cc6551&chksm=fb3ac8facc4d41ec0ab8e9d0d865163524ad741ae9dc8b0e57c269e54894abbce0e0bcd37a3d&scene=27

qq_1693720709
关注
专栏目录
知识蒸馏笔记------摘取笔记
落了一地秋的博客
06-02 1177
知识蒸馏knowledge distillation？what is knowledge distillation？how to knowledge distillation？KD的提出模仿标签单纯的模仿有思考的模仿考虑软标签损失和硬标签损失what is soft label(soft target) and hard label(hard target)？temperature？dark knowledge？添加了学生网络预测结果和软标签前身(未经历softmax)预测结果的差异损失模仿隐含特征(Hin
关于知识蒸馏的笔记
weixin_62375715的博客
04-13 90
从“知识”角度看，在传统训练过程中我们使用的是真实标签与模型结果进行比对，这就造成了部分信息损失；而KD在训练时使用的是不是真实标签，而是soft target，简单来说就是把老师模型的一个中间值与学生模型的同样的中间值进行比较，这样的好处是信息量增加，负标签的信息量大大增加(我的理解是，在一个分类问题中，中间值往往是各个类别的概率，而只有对应的那个类别的概率才算正标签，其余都是负标签，也就是说正标签只有唯一的一个，其余都是负标签)。学生模型学习的是老师模型的优秀泛化能力，这也是深度学习的本质。
蒸馏知识点笔记
PeterClerk的博客
07-11 354
蒸馏知识点总结
Bilibili视频-知识蒸馏笔记
LiuAmber的博客
11-28 248
Bilibili视频-知识蒸馏笔记
知识蒸馏综述
xys430381_1的专栏
06-16 1242
参考： 知识蒸馏简述（一） 知识蒸馏简述（二） 知识蒸馏是什么？一份入门随笔 【经典简读】知识蒸馏(Knowledge Distillation) 经典之作（xys：关于温度T的讨论）
知识蒸馏笔记1----Knowledge_Distillation
落了一地秋的博客
06-01 318
知识蒸馏----Knowledge_DistillationSoftmax, log_softmax, NLLLoss and CrossEntropyWhat is SofmaxWhat is log_softmaxWhat is NLLLoss？在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss总结：Softmax, log_softmax, NLLLoss and CrossEntropy1.Softmax:2.log_softmax3.NLLLoss4.在分
Dealing with Missing Modalities in the VQ Answer-Difference Prediction Task through知识蒸馏 笔记
乄洛尘
07-15 646
Dealing with Missing Modalities in the Visual Question Answer-Difference Prediction Task through Knowledge Distillation 论文笔记一、Abstract二、引言三、相关工作1、Answer Difference in VQA Datasets2、Generalized Knowledge Distillation四、Methodology1、Problem Definition2、Propos
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
Clichong
03-19 6928
如有错误，恳请指出。 这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。 在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记录一下知识蒸馏的测试过程，见另外的一篇博客。 文章目录框架1. 知识蒸馏的算法原理1.1 知识的表示与迁移1.2 训练流程1.3 推理过程1.4 KD与Labe Smoothing的区别2. 知识蒸馏的应用场景3. 知识蒸馏的背后机理4. 知识蒸馏.
模型蒸馏笔记
zh515858237的专栏
05-26 507
Hinton在NIPS2014提出了知识蒸馏（Knowledge Distillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简单的说就是用小模型去学习大模型的预测结果，而不是直接学习训练集中的label。
知识蒸馏论文读书笔记
01-06
知识蒸馏这个名字非常高大上（不得不说大佬不仅想法清新脱俗，名字也起的情形脱俗啊）。如果直白地说老师学生模型，那就不酷了。 下面是论文的总结梳理， 第一次尝试-Model Compression 在2015年hinton 的知识蒸馏...
什么是知识蒸馏？
百态老人的博客
07-24 883
研究目录一、知识蒸馏的基本原理二、知识蒸馏在苹果公司LLMs中的应用三、什么是知识蒸馏？四、知识蒸馏的基本原理是什么？五、知识蒸馏如何提高模型性能？六、知识蒸馏与模型压缩的关系是什么？七、知识蒸馏如何减少计算复杂度？八、知识蒸馏如何降低资源需求？九、知识蒸馏如何提高模型的泛化能力？十、知识蒸馏中的教师模型和学生模型是什么？十一、教师模型如何训练？十二、学生模型如何模仿教师模型？十三、知识蒸馏中的数据增强技术有哪些？十四、如何设计知识蒸馏的损失函数？十五、如何优化模型架构以提高知识蒸馏效果？十六、知识蒸馏在自
【知识蒸馏论文解读】Dataset Distillation 创新性十足的数据集蒸馏
捡起一束光的博客
01-21 5639
模型蒸馏（model层面）的目标是从一个复杂的模型中蒸馏知识到小的模型上。本文考虑的是数据集上的蒸馏（**dataset层面**），具体来说，我们会固定住模型，然后尝试从较大的训练数据集中蒸馏知识到小的数据集上。核心目的是将原始的大数据集压缩成一个小的数据集（不需要来自训练集的分布），并且在这个小数据集上训练模型的效果和原始较大数据集上的训练效果是接近的。......
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 780
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
深度学习·wandb
2301_80132162的博客
10-01 409
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
深度学习：DCGAN
Landy_Jay的博客
10-01 466
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
国创——基于分离表示的人脸图像生成技术
2301_80073593的博客
10-01 984
根据用户的个性化需求，对分离得到的形状和纹理表示进行调整。- 在DFGA框架的几何形状生成模块中，根据输入数据（可能是经过预处理的图像特征等），使用特定的算法或模型生成人脸的几何形状。- 分离表示旨在将人脸图像分解为不同的组件，如几何形状（面部结构）、皮肤纹理（颜色、细节等）等表示形式。- 将生成的几何形状和皮肤纹理进行融合，得到最终的个性化人脸图像或者视频帧（如果是从视频序列输入）。- 定义DFGA框架中的各个模块，如数据加载模块、几何形状生成模块、皮肤纹理生成模块、融合模块等。
【深度学习】—激活函数、ReLU 函数、 Sigmoid 函数、Tanh 函数
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 573
我们已经了解了如何使用非线性激活函数（如 ReLU、sigmoid 和 tanh）来构建具有更强表达能力的多层神经网络。值得一提的是，如今借助开源的深度学习框架，只需几行代码即可快速构建模型，而在 20 世纪 90 年代，训练这些网络可能需要数千行 C 或 Fortran 代码。
【深度学习】— 多层感知机介绍、 隐藏层、从线性到非线性、线性模型的局限性
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 482
在第 3 节中，我们介绍了 softmax 回归，并实现了其从零开始的实现和基于高级 API 的实现，训练了分类器来识别 10 类服装图像。这种网络共有 2 层，每层都是全连接的，每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。最简单的方法是堆叠多个全连接层，每一层的输出作为下一层的输入，最终生成输出。线性模型假设输入特征与输出之间的关系是单调的，例如收入增加会增加偿还贷款的概率，但这种关系不是线性的。个隐藏单元的单隐藏层多层感知机（MLP），隐藏层的输出可以用。
郝斌C语言学习笔记：关键知识点整理与技巧
本篇笔记主要围绕郝斌老师的C语言教学视频，记录了学习过程中总结的关键知识点。首先，讲解了C语言编程的一些基础概念和细节： 1. 函数头文件引用：正确使用函数时需包含对应的头文件，如数学函数需用`#include ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值