知识蒸馏——Distilling the Knowledge in a Neural Network（论文理解）

Xiao_Ya__

已于 2024-06-14 10:12:15 修改

阅读量3.2k

点赞数 34

分类专栏：深度学习论文阅读文章标签：深度学习知识蒸馏

于 2024-06-05 21:39:20 首次发布

本文链接：https://blog.csdn.net/Xiao_Ya__/article/details/139466895

版权

前言

论文名：Distilling the Knowledge in a Neural Network
论文作者：Geoffrey Hinton et.al.
期刊/会议名：NIPS 2014
发表时间：2015-03
论文地址：https://arxiv.org/abs/1503.02531

名词解释

teacher：大而笨重的模型
student：小而紧凑的模型
transfer set：用于小模型训练的数据，也是获得teacher模型soft target输出的输入数据集
hard target：样本原始标签
soft target：teacher模型输出的预测结果
temperature: softmax函数中的超参数
knowledge：可以理解为从输入向量到输出向量学习到的映射

符号定义

z ： logit，模型去除输出层的输出
p： probability，每个类的概率

1.Abstract

（1）面临的现状：
传统的提高机器学习效果的简单方法一般是在相同的数据上使用不同的模型，最后平均他们的预测结果，这也就是集成模型。但是集成模型十分的笨重，会消耗很多计算资源，并且不适合部署在用户端，特别是当单个网络特别大的时候。

（2）文章的工作
介绍了知识蒸馏，并使用知识蒸馏在MNIST数据集上，取得了令人惊讶的成就，并且将知识蒸馏运用在语音识别模型中，也取得的很好的效果。最后讲解了专才模型集成（这一部分和知识蒸馏关系不大）。

2.Introduction

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Xiao_Ya__

关注关注

34
点赞
踩
26

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【第54篇】知识蒸馏：Distilling the Knowledge in a Neural Network

AI浩

11-13

1282

提高几乎所有机器学习算法性能的一个非常简单的方法是用相同的数据训练许多不同的模型，然后对它们的预测[3]求平均值。不幸的是，使用整个模型集合进行预测是很麻烦的，而且可能计算成本太高，无法部署到大量用户中，特别是当单个模型是大型神经网络时。Caruana和他的合作者[1]已经证明，可以将集合中的知识压缩到一个更容易部署的单一模型中，我们使用不同的压缩技术进一步开发了这种方法。

知识蒸馏: Distilling the Knowledge in a Neural Network(中)

热门推荐

guojc学习历程

03-07

1万+

网络压缩，distilled

深度学习的知识蒸馏：Distilling the Knowledge in a Neural Network

日常学习与专研的记录

10-29

1283

本文介绍深度学习中的知识蒸馏操作，介绍论文“Distilling the Knowledge in a Neural Network”内容。

Distilling the Knowledge in a Neural Network

09-05

Distilling the Knowledge in a Neural Network by Geoffrey Hinton A very simple way to improve the performance of almost any machine learning algorithm is to train many different models on the same data and then to average their predictions

人工智能超级核心论文——知识蒸馏——01 Distilling the Knowledge in a Neural Network（论文理解）

daweq的博客

02-24

1432

当“soft targets”具有很高的熵时（也就是各个概率差异不会很大，不会有数量级的差距，比如一个为0.5，一个为10^-10这样），它相对于“hard targets”能够提供更多的信息，同时会使得每一个类别的训练梯度不会过于分散，所以小模型可以使用更少的数据进行学习，同时可以提高学习率。如果繁琐的模型泛化得很好，例如，它是不同模型的大型集合的平均值，那么以相同方式训练泛化的小模型在测试数据上的表现通常会比在用于训练集合的相同训练集上以正常方式训练的小模型好得多。也就是说明了温度的选取很重要。

解读：Distilling the Knowledge in a Neural Network

gaoxueyi551的专栏

12-20

2474

一、背景昆虫的幼虫适应从环境中提取能量和营养，而成虫更适应迁徙和繁殖。这个比喻和机器学习中的大小模型很相似，大模型通常结构复杂，需要从大量的数据中去学习和泛化类别特征，学习能力通常很强（类似成虫需要迁徙、繁殖等较高的成本来生存）；而小模型虽然泛化性不如大模型好，但是部署简单、消耗算力更少（类似幼虫仅在所处的环境中汲取营养即可生存）。既然大模型泛化性优越，那么将大模型的学到的知识提炼到小模型那？本文引入的知识蒸馏成功的解决了该问题。二、何为知识蒸馏蒸馏是化学中的一个...

【论文笔记】Distilling the Knowledge in a Neural Network

xhyu61的博客

12-20

810

如果要解释魔术，就会失去看表演的乐趣，人际关系也是这样，想了解我的话，不妨一点点收集信息，拼凑答案吧。——《原神》琳妮特

【Distilling】《Distilling the Knowledge in a Neural Network》

bryant_meng

11-21

1391

arXiv-2015 文章目录1 Background and Motivation2 Conceptual block3 Knowledge Distilling3.1 hard target3.2 soft target3.3 学 logits 和学 softmax+T 的区别3.4 softmax+T 相比 logits 的优势3.5 Cost function4 Dataset5 Ex...

[论文阅读]知识蒸馏（Distilling the Knowledge in a Neural Network）

ZY_miao的博客

11-27

5944

文章目录前言摘要一、Introduction二、Distillation三、Experiments3.1 MNIST3.2 Speech Recognition3.3 Specialists Models on Very Big Dataset3.3.1 Specialist Models3.3.2 Assigning Classes to Specialists3.3.3 Performing Inference with Ensembles of Specialists3.3.4 Results四、Us

知识蒸馏：从神经网络中蒸馏知识 Distilling the Knowledge in a Neural Network

Cai_deLong的博客

12-14

3902

1.原理介绍 Hinton的文章《Distilling the Knowledge in a Neural Network》首次提出了知识蒸馏的概念，通过引入教师网络用以诱导学生网络的训练，实现知识迁移。所以其本质上和迁移学习有点像，但实现方式是不一样的。用“蒸馏”这个词来形容这个过程是相当形象的。用下图来解释这个过程。教师网络：大规模，参数量大的复杂网络模型。难以应用到设备端的模型。学生网络：小规模，参数量小的精简网络模型。可应用到设备端的模型，俗称可落地模型。...

知识蒸馏: Distilling the Knowledge in a Neural Network(上)

新兴IT民工的专栏

03-20

143

整片论文主要讨论和解决一个问题，在模型越来越大，数据集越来越多的情况下，即使算力已经翻了N倍，训练和部署大模型仍然是一个非常耗时的工作。知识蒸馏，distill knowledge通用模型 + 专用模型并行训练的方式。文章的摘要一开头就说的这个事情：这一段说的是说一个普遍的提高机器学习算法性能的方法就是用同样的数据训练多个模型，然后把多个模型的结果拿来做平均，就能提高算法性能。

【学习笔记】Distilling the knowledge in a neural network

m0_52218304的博客

07-29

1515

要提高机器学习算法的性能，一个方法就是在同一个数据上训练许多不同的模型并平均预测，但是使用这种a whole ensemble of models(集成模型)是笨重的，需要的计算成本很高，无法部署带大量的用户。对此，有研究表明，将集成模型中的知识压缩到一个易于部署的小型的单个模型是可行的，文章也基于此展开。

Paper：《Distilling the Knowledge in a Neural Network神经网络中的知识蒸馏》翻译与解读

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀

07-18

3879

提高几乎任何机器学习算法性能的一种非常简单的方法，是在相同数据上训练许多不同的模型，然后对它们的预测进行平均[3]。不幸的是，使用整个模型集合进行预测是很麻烦的，并且可能计算量太大，而无法部署到大量用户，特别是在单个模型是大型神经网络的情况下。Caruana和他的合作者[1]已经证明，可以将集成中的知识压缩到一个更容易部署的模型中，我们使用一种不同的压缩技术进一步开发了这种方法。我们在MNIST上取得了一些令人惊讶的结果，并且我们表明，我们可以通过将模型集合中的知识提取到单个模型中来。

01_知识蒸馏开山之作----《Distilling the Knowledge in a Neural Network》

https://github.com/foxpup11?tab=repositories

05-25

1415

参考视频https://www.bilibili.com/video/BV1gS4y1k7vj/?spm_id_from=333.999.0.0&vd_source=7dace3632125a1ef7fd32c285eb2fbac

知识蒸馏——Distilling the Knowledge in a Neural Network

m0_51134249的博客

10-21

2472

最近要研究teacher-student方向，从知识蒸馏第一篇开山之作开始学习吧。记录一下学习过程，也是帮助大家一起进步，毕竟每次都白嫖也不好意思了。论文地址：[1503.02531] Distilling the Knowledge in a Neural Network (arxiv.org) 作者是大名鼎鼎的Hinto啊，不过按照他的一贯风格，果然这篇文章最后不是Conclusion而是discussion。（小小吐槽一下哈哈哈哈哈） abstract和introduction大概概括一

Distilling the Knowledge in a Neural Network分析

柯同学要谦虚

01-29

605

Distilling the Knowledge in a Neural Network（2015） Challenges Too cumbersome to Deploy to the client Overfitting Q:The conflicting constraints of learning and using The easiest way to extract a lot of knowledge from the training data is to learn many diff

distilling the knowledge in a neural network

09-19

将神经网络中的知识进行提取，是一种将模型的信息转化为更为简洁和易于理解形式的过程。神经网络是一种由许多神经元组成的复杂计算模型，它们通过学习和调整权重来解决各种问题。然而，神经网络通常具有大量的参数和复杂的结构，这使得它们难以解释和应用到其他领域。因此，我们需要一种方法来提取和总结神经网络中的知识，以便更好地理解和应用这些模型。在进行神经网络知识提取时，有几种常见的方法。一种常见的方法是使用可视化技术，如热力图、激活图和网络结构图等，来可视化网络中不同层的活动模式。这些可视化技术能够帮助我们发现网络中的模式和特征，并从中推断出网络的知识。另一种方法是使用特征提取技术，如卷积神经网络（CNN）的滤波器、自动编码器的隐藏层和循环神经网络（RNN）的隐状态等，来提取网络学习到的重要特征。这些重要特征可以帮助我们更好地理解网络学习到的信息，并将其应用到其他问题中。此外，还有一种被称为知识蒸馏的技术，它通过训练一个较小的模型来提取大型模型中的知识。知识蒸馏通过引入目标函数和额外的训练策略，使小模型能够学习到大模型中的重要知识，并在不损失太多性能的情况下将其应用到实际问题中。总而言之，提取神经网络中的知识是一项重要任务，它能够帮助我们更好地理解和应用这些复杂的模型。通过可视化、特征提取和知识蒸馏等方法，我们能够从神经网络中提取出有用的信息，并将其应用到其他领域或解决其他问题中。