知识蒸馏（Knowledge Distilling）

最新推荐文章于 2024-03-23 09:45:30 发布
最新推荐文章于 2024-03-23 09:45:30 发布
阅读量450 收藏
点赞数
原文链接：http://www.cnblogs.com/wb-learn/p/11436128.html
版权

1.参考资料，

一个很好的KD的资料list    https://github.com/dkozlov/awesome-knowledge-distillation

一个中文的相关资料https://www.zhihu.com/question/333196499/answer/738197683

一些找到的跟KD相关的资料

https://github.com/lhyfst/knowledge-distillation-papers

https://xmfbit.github.io/2018/06/07/knowledge-distilling/

https://www.zhihu.com/question/50519680

https://github.com/dkozlov/awesome-knowledge-distillation

 

与seq2seq最相关的论文 Sequence-Level Knowledge Distillation

 https://arxiv.org/pdf/1606.07947.pdf

 

 

一、Hinton的dark knowledge

1.思想

 

为了获得更好的效果对模型做ensemble，但是在预测的过程中，太多模型的ensemble会导致每一个参数本质上包含了很少的知识，在预测过程中需要更少的运算量和内存消耗。目标是用训练数据训练ensemble的效果好的模型，再利用一个更小的模型来获得emsemble模型中的 映射空间

 

2.做法

对于emsemble来说，可以使用多个模型的几何平均也可以使用代数平均，对于输出来说有一个soft target。

对于最终使用的小模型来说，如果只从soft target学习也可以学习的很快很好，因为这样做学习的是大模型的空间，一个不是onehot的label蕴含了更多的关联约束信息，但是利用hard target（one hot 的label）和soft target 一起使用会有更好的效果。

如何添加hard targets呢？（？？）

 

如何让ensemble高效？

对多分类任务，使被集成的模型分别专注于不同的类别（翻译模型可否组合不同的模型，专注于不同的指标，BLEU，METEOR或者在不同的惩罚因子条件下达到最优）

从专家系统中获得更易混淆的类的信息.

3.效果

在做kd的过程中，如果使用soft target，对于多分类问题，即便训练数据中不包含其中某一类的数据，也能对这一类进行预测，

 

转载于:https://www.cnblogs.com/wb-learn/p/11436128.html

ayz30868
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Knowledge Distillation(1)——入门&开山之作
judgechen1997的博客
09-19 3259
Knowledge Distillation 概述研究背景定义（知识蒸馏是什么？）开山之作1. Introduction2. Distillation 研究背景 对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型，尽管这两个阶段明显有着不同的需求：训练时可以使用一个巨大的数据集去训练一个很深的模型，并占用大量的计算资源，以期达到最好的效果；然而在实际应用时，却又对计算时间和计算资源特...
Selective Knowledge Distillation for Neural Machine Translation翻译
nopSled
12-20 691
摘要 神经机翻译（NMT）模型在许多翻译基准上达到了最先进的性能。作为NMT中的活跃研究领域，通过迁移teacher模型在每个训练样例上的知识，知识蒸馏被广泛应用来提高模型的性能。然而，以前的工作很少讨论作为迁移teacher知识媒介的不同样本之间的影响和关系。在本文中，我们设计了一种新的协议，可以通过比较各种样本的内容来有效地分析样本的不同影响。基于上述协议，我们进行广泛的实验，并发现teacher的知识并不是越多越好。对特定样本的知识甚至可能会损害知识蒸馏的整体性能。最后，为了解决这些问题，我们提出了两
Awesome Knowledge Distillation：学习和实践智能教育的新宝典
gitblog_00067的博客
03-23 372
Awesome Knowledge Distillation：学习和实践智能教育的新宝典 项目地址:https://gitcode.com/FLHonker/Awesome-Knowledge-Distillation 在人工智能领域，知识蒸馏（Knowledge Distillation, KD）是一种高效的技术，用于将大型、复杂的模型（教师模型）的知识传递给小型、高效的模型（学生模型）。而Aw...
AI：模型蒸馏/知识蒸馏(Knowledge Distilling,KD)算法的简介、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-11 6481
我们更通用的解决方案，称为“蒸馏”，是提高最终softmax的温度，直到繁琐的模型产生一组合适的软目标。综上所述，KD的核心思想在于"打散"原来压缩到了一个点的监督信息，让student模型的输出，尽量match teacher模型的输出分布。知识蒸馏是模型压缩的一种方法，是指利用已经训练的一个较复杂的Teacher模型，指导一个较轻量的Student模型训练，从而在减小模型大小和计算资源的同时，尽量保持原Teacher模型的准确率的方法。，这样可以利用的监督信息就远比one hot的多了。
张量流蒸馏示例：在TensorFlow中实施知识蒸馏
02-04
张量流蒸馏示例：在TensorFlow中实施知识蒸馏
Distilling the Knowledge in a Neural Network
09-05
Distilling the Knowledge in a Neural Network by Geoffrey Hinton A very simple way to improve the performance of almost any machine learning algorithm is to train many different models on the same data...
基于知识蒸馏的中文文本分类项目源码(Bert、xlnet为教师模型，biLST为学生模型)+项目说明.zip
最新发布
06-03
基于知识蒸馏的中文文本分类项目源码(Bert、xlnet为教师模型，biLST为学生模型)+项目说明.zip 运行环境 python 3.7 transformers 4.11.3 torch 1.10.0 ## 使用说明 下载[预训练BERT模型参数 pytorch_model.bin]...
Distilling Object Detectors via Decoupled Features.pdf
11-17
《通过解耦特征提炼目标检测器》这篇论文探讨了在目标检测任务中，如何通过一种新的知识蒸馏算法——解耦特征（DeFeat）来优化紧凑的学生网络，使其能够继承复杂教师网络的强大性能。知识蒸馏是将大型教师模型的知识...
Distilling-Object-Detectors:CVPR 2019 论文 Distilling Object Detectors with Fine-grained Feature Imitation 的实现
07-24
香草知识蒸馏技术的关键观察是预测置信度的类间差异揭示了笨拙的模型如何趋于泛化（例如，当输入实际上是一只狗时，模型将在猫标签上放置多少置信度）。 虽然我们的想法是物体附近特征响应的位置间差异也揭示了检测...
知识蒸馏：《Distilling the Knowledge in a Neural Network》算法介绍及PyTorch代码实例
weixin_44808161的博客
08-02 2150
知识蒸馏开山之作《Distilling the Knowledge in a Neural Network》算法介绍及PyTorch代码实例
面向视觉智能的知识蒸馏和Student-Teacher方法（综述论文）
04-17
这篇论文主要介绍了知识蒸馏和student-teacher学习模型。首先，我们对于KD是什么，它是如何工作的提供了一个解释和描述。然后，我们对近些年知识蒸馏方法的研究进展和典型用于视觉任务的S-T学习框架进行了一个全面的调研。最后，我们讨论了知识蒸馏和S-T模型未来的发展方向和研究前景，以及目前这些方法所面临的开放性挑战。
Knowledge Distillation
qq_38317254的博客
06-06 503
1.Distilling the Knowledge in a Neural Network 将复杂模型的泛化能力转移到小模型的一个方法是：将复杂模型产生的类概率(class probabilities)作为"soft targets"来训练小模型。 从网上找了几种解释： 通常我们认为模型从训练中得到的知识就是神经网络的参数，更确切的说是从输入向量到输出向量的映射。所以我们训练小模型的目标就是学习到大模型输入到输出的映射关系。 从复杂网络(teacher net)中抽取训练数据的分布"教给"简单网.
解读：Distilling the Knowledge in a Neural Network
gaoxueyi551的专栏
12-20 2131
一、背景 昆虫的幼虫适应从环境中提取能量和营养，而成虫更适应迁徙和繁殖。这个比喻和机器学习中的大小模型很相似，大模型通常结构复杂，需要从大量的数据中去学习和泛化类别特征，学习能力通常很强（类似成虫需要迁徙、繁殖等较高的成本来生存）；而小模型虽然泛化性不如大模型好，但是部署简单、消耗算力更少（类似幼虫仅在所处的环境中汲取营养即可生存）。 既然大模型泛化性优越，那么将大模型的学到的知识提炼到小模型那？本文引入的知识蒸馏成功的解决了该问题。 二、何为知识蒸馏 蒸馏是化学中的一个...
神经网络压缩：Mimic（二）Distilling the Knowledge in a Neural Network
cookie_234的博客
06-09 7720
转载请注明出处：西土城的搬砖日常
Distilling the Knowledge in a Neural Network 论文笔记
Reborn的博客
06-10 9481
论文：https://arxiv.org/abs/1503.02531一、简介    对于几乎所有的机器学习算法，一种简单的提高性能的方法，就是使用同样的数据集训练多个不同的模型，测试时取他们的各自预测值的加权平均作为整个算法的最终输出结果。然而，这样做的缺点也是非常明显的，多个模型的集合体积庞大，且运算需求极大，难以部署在大量用户的机器上。    因此，本文主要做出了以下两点贡献：提出一种知识蒸...
Seq2seq模型蒸馏方法
weixin_42961017的博客
05-14 861
seq2seq的模型蒸馏
知识蒸馏：大神Hinton《Distilling the Knowledge in a Neural Network》论文笔记 2015
qq_22497977的博客
09-14 1290
知识蒸馏：《Distilling the Knowledge in a Neural Network》 2015论文第5部分：在一个特大的数据集上训练一个特殊的网络集成1.问题：网络识别问题2.训练过程2.1通用模型：2.2专有模型：2.2.1专有模型的训练集构造过程2.2.2训练专有模型3.测试过程4.结果15.结果2 论文第5部分：在一个特大的数据集上训练一个特殊的网络集成 1.问题：网络识别问题 前提： 训练集JFT，有约1亿个图片。谷歌有个基线模型（Google’s baseline model），
[论文阅读]Sequence-Level Knowledge Distillation
ZY_miao的博客
11-29 1711
文章目录前言摘要一、Introduction二、Distillation2.1 Knowledge Distillation2.2 Knowledge Distillation for NMT2.2.1 Word-Level Knowledge Distillation2.2.2 Sequence-Level Knowledge Distillation2.2.3 Sequence-Level Interpolation三、Experiments五、Discussion总结 前言 论文名：Sequence
深度学习核心技术精讲100篇（六）-keras 实战系列之知识蒸馏（Knowledge Distilling）
wenyusuran的专栏
07-29 1940
深度学习在这两年的发展可谓是突飞猛进，为了提升模型性能，模型的参数量变得越来越多，模型自身也变得越来越大。在图像领域中基于Resnet的卷积神经网络模型，不断延伸着网络深度。而在自然语言处理领域（NLP）领域，BERT，GPT等超大模型的诞生也紧随其后。这些巨型模型在准确性上大部分时候都吊打其他一众小参数量模型，可是它们在部署阶段，往往需要占用巨大内存资源，同时运行起来也极其耗时，这与工业界对模型吃资源少，低延时的要求完全背道而驰。所以很多在学术界呼风唤雨的强大模型在企业的运用过程中却没有那么顺风顺水。
基于特征的知识蒸馏代码
07-29
基于特征的知识蒸馏代码可以使用以下示例代码实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class DistillFeature(nn.Module): """Distilling the Knowledge in a Neural Network based on Features""" def __init__(self, T): super(DistillFeature, self).__init__() self.T = T def forward(self, f_s, f_t): p_s = F.log_softmax(f_s/self.T, dim=1) p_t = F.softmax(f_t/self.T, dim=1) loss = F.kl_div(p_s, p_t, reduction='batchmean') * (self.T**2) return loss ``` 在这个示例代码中，`DistillFeature`类是一个继承自`nn.Module`的模型，用于实现基于特征的知识蒸馏。它接受两个特征向量`f_s`和`f_t`作为输入，分别代表教师网络和学生网络的特征表示。然后，通过计算这两个特征向量的softmax后的概率分布，并使用KL散度来衡量它们之间的相似度。最后，将相似度矩阵乘以温度参数T的平方，并除以特征向量的批次大小，得到最终的损失值。 请注意，这只是一个示例代码，具体的实现可能会根据具体的任务和模型结构有所不同。 #### 引用[.reference_title] - *1* *2* [知识蒸馏综述：代码整理](https://blog.csdn.net/DD_PP_JJ/article/details/121900793)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [知识蒸馏 示例代码实现及下载](https://blog.csdn.net/For_learning/article/details/117304450)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值