论文：Distilling the Knowledge in a Neural Network

最新推荐文章于 2024-06-05 21:39:20 发布
最新推荐文章于 2024-06-05 21:39:20 发布
阅读量5.4k 收藏 1
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackerzer/article/details/52089020
版权

作者：Geoffrey Hitton；Orial Vinyals；Jeff Dean


看得不是很懂，先留个坑，说个大意。


标题就很好地解释了这篇论文是来干嘛的，重点是Distill，萃取，针对的是Neural Network，但是在文章的前2/3并没有看到怎么是面向Neual Network的，整个标题：如何从Neural Network中萃取知识？先只说说我看的前面2/3的部分。

众所周知，将不同的模型进行融合一般都是可以提高泛化能力的[]，然而融合出来的模型过于复杂，有没有一个对应的简单地模型呢。即如何从一个复杂的模型萃取出一个性能接近的简单模型呢？首先我的疑问肯定是这样做有什么好处，既然已经得到了复杂的模型，参数都已经学好，为什么还要多此一举进行萃取--distill呢？嗯，文章中说是为了提高预测时的效率，但我的疑惑仍在：进行萃取--distill的成本可以换回预测时节省的成本吗？

mark 1： 类别概率可以反映很重要的信息。例如下面这个例子：




mark 2：softmax 是将类别转化成概率的输出，在其中加上温度T的表示，T越大，概率分布越柔和：



Hackerzer
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
蒸馏神经网络(Distill the Knowledge in a Neural Network)
zhongshaoyy的博客
12-13 3万+
本文是阅读Hinton 大神蒸馏神经网络论文的笔记，特此说明。此文读起来很抽象，但是和我的研究方向：神经网络的压缩十分相关，因此决定花气力好好理解一下。  1、Introduction   文章开篇用一个比喻来引入网络蒸馏：昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大量的计算资源且不需要
Distilling the Knowledge in a Neural Network
09-05
Distilling the Knowledge in a Neural Network by Geoffrey Hinton A very simple way to improve the performance of almost any machine learning algorithm is to train many different models on the same data...
Distilling the Knowledge in a Neural Network[论文阅读笔记]
热门推荐
guojc学习历程
03-07 1万+
网络压缩，distilled
知识蒸馏——Distilling the Knowledge in a Neural Network（论文理解）
最新发布
Xiao_Ya__的博客
06-05 842
知识蒸馏——Distilling the Knowledge in a Neural Network（论文理解）
Distilling the Knowledge in a Neural Network分析
柯同学要谦虚
01-29 532
Distilling the Knowledge in a Neural Network（2015） Challenges Too cumbersome to Deploy to the client Overfitting Q:The conflicting constraints of learning and using The easiest way to extract a lot of knowledge from the training data is to learn many diff
《Distilling the Knowledge in a Neural Network》论文总结
LionelZhao的博客
08-10 1632
本篇《Distilling the Knowledge in a Neural Network》是知识蒸馏的开山之作，Hinton老爷子等人为模型压缩和加速开创了一条光明大道。
知识蒸馏——Distilling the Knowledge in a Neural Network
m0_51134249的博客
10-21 2276
最近要研究teacher-student方向，从知识蒸馏第一篇开山之作开始学习吧。 记录一下学习过程，也是帮助大家一起进步，毕竟每次都白嫖也不好意思了。 论文地址：[1503.02531] Distilling the Knowledge in a Neural Network (arxiv.org) 作者是大名鼎鼎的Hinto啊，不过按照他的一贯风格，果然这篇文章最后不是Conclusion而是discussion。（小小吐槽一下 哈哈哈哈哈） abstract和introduction大概概括一
Distilling-Object-Detectors:CVPR 2019 论文 Distilling Object Detectors with Fine-grained Feature Imitation 的实现
07-24
我们的 CVPR 2019 论文 Distilling Object Detectors with Fine-grained Feature Imitation 的实现 我们提出了一种基于锚点的对象检测模型的通用蒸馏方法，以利用大型教师模型的知识获得增强的小型学生模型，该模型...
2020CVPR去雾-Distilling Image Dehazing With Heterogeneous Task Imitation论文源码
01-04
《2020CVPR去雾-Distilling Image Dehazing With Heterogeneous Task Imitation论文源码》是关于图像处理领域的一项重要研究，它主要聚焦于图像去雾技术。图像去雾，顾名思义，是针对拍摄时由于大气散射导致的图像...
吉布斯采样matlab代码-distilling_intractable_generative_models:论文代码“蒸馏难处理的生成模型”
05-28
吉布斯采样matlab代码蒸馏难处理的生成模型 该项目包括再现本文中的实验所需的所有matlab代码和数据文件： G.Papamakarios和I.Murray，《提炼难处理的生成模型》 ，关于概率集成的NeurIPS研讨会，2015年。...
Information Extraction_ Distilling Structured Data from Unstructured Text
01-28
Information Extraction_ Distilling Structured Data from Unstructured Text
《Distilling the Knowledge in a Neural Network》知识蒸馏论文解读
syf的博客
06-12 875
知识蒸馏的开山之作Distilling the Knowledge in a Neural Network论文的学习笔记。
文章总结：Distilling the Knowledge in a Neural Network(蒸馏神经网络)
weixin_34211761的博客
07-01 130
原文地址：https://arxiv.org/abs/1503.02... <font size=3.2> Abstract: 在机器学习领域，ensemble learning是一种普遍适用的用来提升模型表现的方法， 将通过ensemble learning训练出的模型称为cubersome model, 但在这种情况下，...
Distilling the Knowledge in a Neural Network 阅读笔记
tsq292978891的博客
10-27 1005
《Distilling the Knowledge in a Neural Network 》 模型蒸馏论文笔记： 参考资料：http://blog.csdn.net/zhongshaoyy/article/details/53582048 Cumbersome：笨重，巨大 （这里只是考虑分类）对于一个cumbersome的网络来说，目标是区分出大量的类别的目标。常见的训练目标就是最大化a
论文笔记：蒸馏网络（Distilling the Knowledge in Neural Network）
weixin_30274627的博客
06-11 816
Distilling the Knowledge in Neural Network Geoffrey Hinton, Oriol Vinyals, Jeff Dean preprint arXiv:1503.02531, 2015 NIPS 2014 Deep Learning Workshop 简单总结 主要工作（What） “蒸馏”（distillation）：把大网络的知识压缩成小网络的...
Distilling the Knowledge in a Neural Network阅读笔记
fanyuwgy的博客
04-24 263
文章背景知识 文章就是将大网络的知识想办法迁移到小网络。所以背景知识就是普通的机器学习知识，包括神经网络，softmax函数等等。 1.介绍文章来源 第一作者是Geoffrey Hinton，号称人工智能三大创始人（Geoffrey Hinton、Yann LeCun与YoshuaBengio）之一，神经网络之父，谷歌高级专家，谷歌学术引用达到了24w。 第二作者Oriol Vinyals...
【DKNN】Distilling the Knowledge in a Neural Network 第一次提出神经网络的知识蒸馏概念
Joselynzhao
07-23 889
Distilling the Knowledge in a Neural NetworkAbstract1 Introduction2 Distillation2.1 Matching logits is a special case of distillation3 Preliminary experiments on MNIST4 Experiments on speech recognition4.1 Results5 Training ensembles of specialists on ver.
深度学习论文笔记（知识蒸馏）——Distilling the Knowledge in a Neural Network
菜到怀疑人生的博客
11-27 2736
文章目录主要工作motivationmethod实验 主要工作 提出一种知识蒸馏的方法，可以压缩模型，让小模型达到与集成亦或是大型模型相似的性能 提出一种新的集成学习方法，可以让模型训练速度更快，并且是并行训练 本文只总结第一点 motivation 大型模型往往不适合线上部署，一方面是计算资源消耗大，另一方面是响应速度慢，因此Hinton便考虑是否可以将大模型的知识迁移到小模型上，这里有两...
distilling the knowledge in a neural network
09-19
将神经网络中的知识进行提取，是一种将模型的信息转化为更为简洁和易于理解形式的过程。 神经网络是一种由许多神经元组成的复杂计算模型，它们通过学习和调整权重来解决各种问题。然而，神经网络通常具有大量的参数...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值