论文：Distilling the Knowledge in a Neural Network

最新推荐文章于 2023-12-20 14:28:19 发布
最新推荐文章于 2023-12-20 14:28:19 发布
阅读量5.5k 收藏 1
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackerzer/article/details/52089020
版权

作者：Geoffrey Hitton；Orial Vinyals；Jeff Dean


看得不是很懂，先留个坑，说个大意。


标题就很好地解释了这篇论文是来干嘛的，重点是Distill，萃取，针对的是Neural Network，但是在文章的前2/3并没有看到怎么是面向Neual Network的，整个标题：如何从Neural Network中萃取知识？先只说说我看的前面2/3的部分。

众所周知，将不同的模型进行融合一般都是可以提高泛化能力的[]，然而融合出来的模型过于复杂，有没有一个对应的简单地模型呢。即如何从一个复杂的模型萃取出一个性能接近的简单模型呢？首先我的疑问肯定是这样做有什么好处，既然已经得到了复杂的模型，参数都已经学好，为什么还要多此一举进行萃取--distill呢？嗯，文章中说是为了提高预测时的效率，但我的疑惑仍在：进行萃取--distill的成本可以换回预测时节省的成本吗？

mark 1： 类别概率可以反映很重要的信息。例如下面这个例子：




mark 2：softmax 是将类别转化成概率的输出，在其中加上温度T的表示，T越大，概率分布越柔和：



【第54篇】知识蒸馏：Distilling the Knowledge in a Neural Network
AI浩
11-13 1155
提高几乎所有机器学习算法性能的一个非常简单的方法是用相同的数据训练许多不同的模型，然后对它们的预测[3]求平均值。不幸的是，使用整个模型集合进行预测是很麻烦的，而且可能计算成本太高，无法部署到大量用户中，特别是当单个模型是大型神经网络时。Caruana和他的合作者[1]已经证明，可以将集合中的知识压缩到一个更容易部署的单一模型中，我们使用不同的压缩技术进一步开发了这种方法。
《Distilling the Knowledge in a Neural Network》论文阅读笔记
weixin_45167859的博客
02-01 604
《Distilling the Knowledge in a Neural Network》 Abstract： ​ 对于很多大型的机器学习任务来说，集成是一个非常简便就能提高表现的方法，但是集成方法计算量太大。Caruana等人说明了将一个大型网络（集成的模型）中的知识压缩到一个便于计算的小模型中是可取的，Hinton等人提出了一种不同的知识压缩的技巧—知识蒸馏。作者在MNIST上将一个商用网络的知识蒸馏出来应用于一个小模型后，效果有了显著的提高。 Introduction: ​ 基于幼虫理论—“许多
蒸馏神经网络(Distill the Knowledge in a Neural Network)
热门推荐
zhongshaoyy的博客
12-13 3万+
本文是阅读Hinton 大神蒸馏神经网络论文的笔记，特此说明。此文读起来很抽象，但是和我的研究方向：神经网络的压缩十分相关，因此决定花气力好好理解一下。  1、Introduction   文章开篇用一个比喻来引入网络蒸馏：昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大量的计算资源且不需要
Distilling the Knowledge in a Neural Network[论文阅读笔记]
guojc学习历程
03-07 1万+
网络压缩，distilled
【论文笔记】Distilling the Knowledge in a Neural Network
最新发布
xhyu61的博客
12-20 614
如果要解释魔术，就会失去看表演的乐趣，人际关系也是这样，想了解我的话，不妨一点点收集信息，拼凑答案吧。——《原神》琳妮特
Distilling the Knowledge in a Neural Network分析
柯同学要谦虚
01-29 579
Distilling the Knowledge in a Neural Network（2015） Challenges Too cumbersome to Deploy to the client Overfitting Q:The conflicting constraints of learning and using The easiest way to extract a lot of knowledge from the training data is to learn many diff
知识蒸馏——Distilling the Knowledge in a Neural Network
m0_51134249的博客
10-21 2429
最近要研究teacher-student方向，从知识蒸馏第一篇开山之作开始学习吧。 记录一下学习过程，也是帮助大家一起进步，毕竟每次都白嫖也不好意思了。 论文地址：[1503.02531] Distilling the Knowledge in a Neural Network (arxiv.org) 作者是大名鼎鼎的Hinto啊，不过按照他的一贯风格，果然这篇文章最后不是Conclusion而是discussion。（小小吐槽一下 哈哈哈哈哈） abstract和introduction大概概括一
[论文阅读]知识蒸馏（Distilling the Knowledge in a Neural Network）
ZY_miao的博客
11-27 5576
文章目录前言摘要一、Introduction二、Distillation三、Experiments3.1 MNIST3.2 Speech Recognition3.3 Specialists Models on Very Big Dataset3.3.1 Specialist Models3.3.2 Assigning Classes to Specialists3.3.3 Performing Inference with Ensembles of Specialists3.3.4 Results四、Us
知识蒸馏：从神经网络中蒸馏知识 Distilling the Knowledge in a Neural Network
Cai_deLong的博客
12-14 3806
1.原理介绍 Hinton的文章《Distilling the Knowledge in a Neural Network》首次提出了知识蒸馏的概念，通过引入教师网络用以诱导学生网络的训练，实现知识迁移。所以其本质上和迁移学习有点像，但实现方式是不一样的。用“蒸馏”这个词来形容这个过程是相当形象的。用下图来解释这个过程。 教师网络：大规模，参数量大的复杂网络模型。难以应用到设备端的模型。 学生网络：小规模，参数量小的精简网络模型。可应用到设备端的模型，俗称可落地模型。...
人工智能超级核心论文——知识蒸馏——01 Distilling the Knowledge in a Neural Network（论文理解）
daweq的博客
02-24 1276
当“soft targets”具有很高的熵时（也就是各个概率差异不会很大，不会有数量级的差距，比如一个为0.5，一个为10^-10这样），它相对于“hard targets”能够提供更多的信息，同时会使得每一个类别的训练梯度不会过于分散，所以小模型可以使用更少的数据进行学习，同时可以提高学习率。如果繁琐的模型泛化得很好，例如，它是不同模型的大型集合的平均值，那么以相同方式训练泛化的小模型在测试数据上的表现通常会比在用于训练集合的相同训练集上以正常方式训练的小模型好得多。也就是说明了温度的选取很重要。
《Distilling the Knowledge in a Neural Network》知识蒸馏论文解读
syf的博客
06-12 949
知识蒸馏的开山之作Distilling the Knowledge in a Neural Network论文的学习笔记。
文章总结：Distilling the Knowledge in a Neural Network(蒸馏神经网络)
weixin_34211761的博客
07-01 145
原文地址：https://arxiv.org/abs/1503.02... <font size=3.2> Abstract: 在机器学习领域，ensemble learning是一种普遍适用的用来提升模型表现的方法， 将通过ensemble learning训练出的模型称为cubersome model, 但在这种情况下，...
Distilling the Knowledge in a Neural Network 阅读笔记
tsq292978891的博客
10-27 1033
《Distilling the Knowledge in a Neural Network 》 模型蒸馏论文笔记： 参考资料：http://blog.csdn.net/zhongshaoyy/article/details/53582048 Cumbersome：笨重，巨大 （这里只是考虑分类）对于一个cumbersome的网络来说，目标是区分出大量的类别的目标。常见的训练目标就是最大化a
Distilling the Knowledge in a Neural Network
Sundrops的专栏
11-14 295
其实应该最先写这篇文章的总结的，之前看了忘了记录 Motivation one hot label会将所有不正确的类别概率都设置为0，而一个好的模型预测出来的结果，这些不正确的类别概率是有不同的，他们之间概率的相对大小其实蕴含了更多的信息，代表着模型是如何泛化判别的。 比如一辆轿车，一个模型更有可能把它预测成卡车而不是猫，这其实给出了比one hot label更多的信息即轿车和卡车更像，而和...
论文笔记：蒸馏网络（Distilling the Knowledge in Neural Network）
weixin_30274627的博客
06-11 884
Distilling the Knowledge in Neural Network Geoffrey Hinton, Oriol Vinyals, Jeff Dean preprint arXiv:1503.02531, 2015 NIPS 2014 Deep Learning Workshop 简单总结 主要工作（What） “蒸馏”（distillation）：把大网络的知识压缩成小网络的...
Distilling the Knowledge in a Neural Network阅读笔记
fanyuwgy的博客
04-24 301
文章背景知识 文章就是将大网络的知识想办法迁移到小网络。所以背景知识就是普通的机器学习知识，包括神经网络，softmax函数等等。 1.介绍文章来源 第一作者是Geoffrey Hinton，号称人工智能三大创始人（Geoffrey Hinton、Yann LeCun与YoshuaBengio）之一，神经网络之父，谷歌高级专家，谷歌学术引用达到了24w。 第二作者Oriol Vinyals...
【DKNN】Distilling the Knowledge in a Neural Network 第一次提出神经网络的知识蒸馏概念
Joselynzhao
07-23 922
Distilling the Knowledge in a Neural NetworkAbstract1 Introduction2 Distillation2.1 Matching logits is a special case of distillation3 Preliminary experiments on MNIST4 Experiments on speech recognition4.1 Results5 Training ensembles of specialists on ver.
深度学习论文笔记（知识蒸馏）——Distilling the Knowledge in a Neural Network
菜到怀疑人生的博客
11-27 2804
文章目录主要工作motivationmethod实验 主要工作 提出一种知识蒸馏的方法，可以压缩模型，让小模型达到与集成亦或是大型模型相似的性能 提出一种新的集成学习方法，可以让模型训练速度更快，并且是并行训练 本文只总结第一点 motivation 大型模型往往不适合线上部署，一方面是计算资源消耗大，另一方面是响应速度慢，因此Hinton便考虑是否可以将大模型的知识迁移到小模型上，这里有两...
distilling the knowledge in a neural network
09-19
将神经网络中的知识进行提取，是一种将模型的信息转化为更为简洁和易于理解形式的过程。 神经网络是一种由许多神经元组成的复杂计算模型，它们通过学习和调整权重来解决各种问题。然而，神经网络通常具有大量的参数和复杂的结构，这使得它们难以解释和应用到其他领域。因此，我们需要一种方法来提取和总结神经网络中的知识，以便更好地理解和应用这些模型。 在进行神经网络知识提取时，有几种常见的方法。一种常见的方法是使用可视化技术，如热力图、激活图和网络结构图等，来可视化网络中不同层的活动模式。这些可视化技术能够帮助我们发现网络中的模式和特征，并从中推断出网络的知识。 另一种方法是使用特征提取技术，如卷积神经网络（CNN）的滤波器、自动编码器的隐藏层和循环神经网络（RNN）的隐状态等，来提取网络学习到的重要特征。这些重要特征可以帮助我们更好地理解网络学习到的信息，并将其应用到其他问题中。 此外，还有一种被称为知识蒸馏的技术，它通过训练一个较小的模型来提取大型模型中的知识。知识蒸馏通过引入目标函数和额外的训练策略，使小模型能够学习到大模型中的重要知识，并在不损失太多性能的情况下将其应用到实际问题中。 总而言之，提取神经网络中的知识是一项重要任务，它能够帮助我们更好地理解和应用这些复杂的模型。通过可视化、特征提取和知识蒸馏等方法，我们能够从神经网络中提取出有用的信息，并将其应用到其他领域或解决其他问题中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值