知识蒸馏（一）

最新推荐文章于 2024-07-24 14:05:30 发布
最新推荐文章于 2024-07-24 14:05:30 发布
阅读量215 收藏
点赞数
分类专栏： NLP 知识蒸馏 文章标签： 深度学习 机器学习 人工智能

知识蒸馏是一种模型压缩方法，是一种基于“教师-学生网络思想”的训练方式，由于其简单，有效，并且已经在工业界被广泛应用。这一技术的理论来自于2015年Hinton发表的一篇神作:论文：Distilling the Knowledge in a Nerual Network

Knowledge Distillation，简称KD，顾名思义，就是将已经训练好的模型包含的知识(”Knowledge”)，蒸馏(“Distill”)提取到另一个模型里面。今天，我们就来读一下这篇论文，用简单的语言描述论文作者的思想。在本文中，我们将从背景和动机讲起，然后着重介绍“知识蒸馏”的方法，下面我会讨论“温度“这个名词:

温度: 我们都知道“蒸馏”需要在高温下进行，那么这个“蒸馏”的温度代表了什么，又是如何选取合适的温度？

  1. 介绍

1.1. 论文提出的背景。

在一般情况下，我们不会去区分训练和部署使用的模型，但是训练和部署之间存在着一定的不一致性的现象:

在训练过程中，我们需要使用复杂的模型，大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，参数特别多，比如现在的bert，甚至由多个模型集成得到（集成模型。而大模型不方便部署到服务中去，常见的瓶颈如下:
推断速度慢
对部署资源要求高(内存，显存等)
在部署时，我们对延迟以及计算资源都有着严格的限制。
因此，模型压缩（在保证性能的前提下减少模型的参数量）成为了一个重要的问题。而”模型蒸馏“属于模型压缩的一种方法。

插句题外话，我们可以从模型参数量和训练数据量之间的相对关系来理解underfitting和overfitting。AI领域的从业者可能对此已经习以为常，但是为了力求让小白也能读懂本文，还是引用我同事的解释（我印象很深）形象地说明一下:

模型就像一个容器，训练数据中蕴含的知识就像是要装进容器里的水。当数据知识量(水量)超过模型所能建模的范围时(容器的容积)，加再多的数据也不能提升效果(水再多也装不进容器)，因为模型的表达空间有限(容器容积有限)，就会造成underfitting；而当模型的参数量大于已有知识所需要的表达空间时(容积大于水量，水装不满容器)，就会造成overfitting，即模型的bias会增大(想象一下摇晃半满的容器，里面水的形状是不稳定的)。

1.2. “思想歧路”

上面容器和水的比喻非常经典和贴切，但是会引起一个误解: 人们在直觉上会觉得，要保留相近的知识量，必须保留相近规模的模型。也就是说，一个模型的参数量基本决定了其所能捕获到的数据内蕴含的“知识”的量。

这样的想法是基本正确的，但是需要注意的是:

模型的参数量和其所能捕获的“知识“量之间并非稳定的线性关系(下图中的1)，而是接近边际收益逐渐减少的一种增长曲线(下图中的2和3)
完全相同的模型架构和模型参数量，使用完全相同的训练数据，能捕获的“知识”量并不一定完全相同，另一个关键因素是训练的方法。合适的训练方法可以使得在模型参数总量比较小时，尽可能地获取到更多的“知识”(下图中的3与2曲线的对比).
在这里插入图片描述

  1. 知识蒸馏的理论依据

2.1. Teacher Model和Student Model

知识蒸馏使用的是Teacher—Student模型，其中teacher是“知识”的输出者，student是“知识”的接受者。知识蒸馏的过程分为2个阶段:

原始模型训练: 训练"Teacher模型", 简称为Net-T，它的特点是模型相对复杂，也可以由多个分别训练的模型集成而成。我们对"Teacher模型"不作任何关于模型架构、参数量、是否集成方面的限制，唯一的要求就是，对于输入X, 其都能输出Y，其中Y经过softmax的映射，输出值对应相应类别的概率值。
精简模型训练: 训练"Student模型", 简称为Net-S，它是参数量较小、模型结构相对简单的单模型。同样的，对于输入X，其都能输出Y，Y经过softmax映射后同样能输出对应相应类别的概率值。
在本论文中，作者将问题限定在分类问题下，或者其他本质上属于分类问题的问题，该类问题的共同点是模型最后会有一个softmax层，其输出值对应了相应类别的概率值。

2.2. 知识蒸馏的关键点

如果回归机器学习最最基础的理论，我们可以很清楚地意识到一点(而这一点往往在我们深入研究机器学习之后被忽略): 机器学习最根本的目的在于训练出在某个问题上泛化能力强的模型。

泛化能力强: 在某问题的所有数据上都能很好地反应输入和输出之间的关系，无论是训练数据，还是测试数据，还是任何属于该问题的未知数据。
而现实中，由于我们不可能收集到某问题的所有数据来作为训练数据，并且新数据总是在源源不断的产生，因此我们只能退而求其次，训练目标变成在已有的训练数据集上建模输入和输出之间的关系。由于训练数据集是对真实数据分布情况的采样，训练数据集上的最优解往往会多少偏离真正的最优解(这里的讨论不考虑模型容量)。

而在知识蒸馏时，由于我们已经有了一个泛化能力较强的Net-T，我们在利用Net-T来蒸馏训练Net-S时，可以直接让Net-S去学习Net-T的泛化能力。

一个很直白且高效的迁移泛化能力的方法就是使用softmax层输出的类别的概率来作为“soft target”。

传统training过程(hard targets): 对ground truth求极大似然
KD的training过程(soft targets): 用large model的class probabilities作为soft targets
在这里插入图片描述

上图: Hard Target 下图: Soft Target
为什么?

softmax层的输出，除了正例之外，负标签也带有大量的信息，比如某些负标签对应的概率远远大于其他负标签。而在传统的训练过程(hard target)中，所有负标签都被统一对待。也就是说，KD的训练方式使得每个样本给Net-S带来的信息量大于传统的训练方式。

举个例子来说明一下: 在手写体数字识别任务MNIST中，输出类别有10个。
在这里插入图片描述
minist

MNIST任务

假设某个输入的“2”更加形似"3"，softmax的输出值中"3"对应的概率为0.1，而其他负标签对应的值都很小，而另一个"2"更加形似"7"，"7"对应的概率为0.1。这两个"2"对应的hard target的值是相同的，但是它们的soft target却是不同的，由此我们可见soft target蕴含着比hard target多的信息。并且soft target分布的熵相对高时，其soft target蕴含的知识就更丰富。
在这里插入图片描述

两个”2“的hard target相同而soft target不同

这就解释了为什么通过蒸馏的方法训练出的Net-S相比使用完全相同的模型结构和训练数据只使用hard target的训练方法得到的模型，拥有更好的泛化能力。

2.3. softmax函数

先回顾一下原始的softmax函数:
在这里插入图片描述

softmax
但要是直接使用softmax层的输出值作为soft target, 这又会带来一个问题: 当softmax输出的概率分布熵相对较小时，负标签的值都很接近0，对损失函数的贡献非常小，小到可以忽略不计。因此"温度"这个变量就派上了用场。

下面的公式时加了温度这个变量之后的softmax函数:

在这里插入图片描述
soft target

这里的T就是温度。
原来的softmax函数是T = 1的特例。 T越高，softmax的output probability distribution越趋于平滑，其分布的熵越大，负标签携带的信息会被相对地放大，模型训练将更加关注负标签。
在这里插入图片描述

  1. 知识蒸馏的具体方法

3.1. 通用的知识蒸馏方法

第一步是训练Net-T；第二步是在高温T下，蒸馏Net-T的知识到Net-S
在这里插入图片描述

在这里插入图片描述

知识蒸馏示意图(来自https://nervanasystems.github.io/distiller/knowledge_distillation.html)
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

第二部分Loss L hard 的必要性其实很好理解: Net-T也有一定的错误率，使用ground truth可以有效降低错误被传播给Net-S的可能。打个比方，老师虽然学识远远超过学生，但是他仍然有出错的可能，而这时候如果学生在老师的教授之外，可以同时参考到标准答案，就可以有效地降低被老师偶尔的错误“带偏”的可能性。
讨论

实验发现第二部分所占比重比较小的时候，能产生最好的结果，这是一个经验的结论。一个可能的原因是，由于soft target产生的gradient与hard target产生的gradient之间有与 T 相关的比值。
在这里插入图片描述

注意: 在Net-S训练完毕后，做inference时其softmax的温度T要恢复到1.

3.2. 一种特殊情形: 直接match logits(不经过softmax)

直接match logits指的是，直接使用softmax层的输入logits（而不是输出）作为soft targets，需要最小化的目标函数是Net-T和Net-S的logits之间的平方差。
在这里插入图片描述

  1. 关于"温度"的讨论

【问题】 我们都知道“蒸馏”需要在高温下进行，那么这个“蒸馏”的温度代表了什么，又是如何选取合适的温度？

在这里插入图片描述

随着温度T的增大，概率分布的熵逐渐增大

4.1. 温度的特点
在这里插入图片描述

4.2. 温度代表了什么，如何选取合适的温度？

温度的高低改变的是Net-S训练过程中对负标签的关注程度: 温度较低时，对负标签的关注，尤其是那些显著低于平均值的负标签的关注较少；而温度较高时，负标签相关的值会相对增大，Net-S会相对多地关注到负标签。

实际上，负标签中包含一定的信息，尤其是那些值显著高于平均值的负标签。但由于Net-T的训练过程决定了负标签部分比较noisy，并且负标签的值越低，其信息就越不可靠。因此温度的选取比较empirical，本质上就是在下面两件事之中取舍:

从有部分信息量的负标签中学习 --> 温度要高一些
防止受负标签中噪声的影响 -->温度要低一些
总的来说，T的选择和Net-S的大小有关，Net-S参数量比较小的时候，相对比较低的温度就可以了（因为参数量小的模型不能capture all knowledge，所以可以适当忽略掉一些负标签的信息）

  1. 参考
    深度压缩之蒸馏模型 - 风雨兼程的文章 - 知乎 https://zhuanlan.zhihu.com/p/24337627
    知识蒸馏Knowledge Distillation - 船长的文章 - 知乎 https://zhuanlan.zhihu.com/p/83456418
    https://towardsdatascience.com/knowledge-distillation-simplified-dd4973dbc764
    https://nervanasystems.github.io/distiller/knowledge_distillation.html

6.推荐阅读

  • 论文相关
    ReadPaper论文链接及论文十问解答 : https://readpaper.com/paper/1821462560论文主页:https://scholar.google.com/citations?view op=view citation&hl=zh-CN&user=JicYPdAAAAAJ&citation_for_view=JicYPdAAAAAJ:lhcAiayVhoC
    论文中公式(2) 的详细推导:https://zhuanlan.zhihu.com/p/90049906
    知乎(陀飞轮] : https://www.zhihu.com/people/chen-jia-yu-65-36/answers。

  • 代码相关
    OpenMMLab:https://openmmlab.com/MMRazor:https://github.com/open-mmlab/MMRazorMMDeploy : https://github.com/open-mmlab/MMDeployRepDistill : https://github.com/HobbitLong/RepDistiller云GPU算力平合Featurize: httos://featurize.cn?s=d7ce9gf842414bfcaea5662a97581bd1Keras知识蒸留代码:https://keras.io/examples/vision/knowledge distillation/

  • 其它知识蒸馏相关论文
    Hinton-NeurlPS2019论文:When Does Label Smoothing Help?
    https://arxiv.org/abs/1906.02629ICLR2021论文 : ls Label Smoothing Truly lncompatible with Knowledge Distillation: An Empirical Studyhttps://openreview.net/pdf?id=PObuuGVrGaZ
    知乎博客:https://zhuanlan.zhihu.com/p/387164549
    论文: Does Knowledge Distillation Really Work?
    https://arxiv.org/pdf/2106.05945.pdf
    知乎博客:https://zhuanlan.zhihu.com/p/403585095
    Attention Transfer论文:https://arxiv.org/abs/1612.03928
    数据集蒸馏:https://zhuanlan.zhihu.com/p/56328042
    知乎:https://zhuanlan.zhihu.com/p/102038521
    知乎:https://www.zhihu.com/question/266035318/answer/2276286571
    代码: https://koushik0901.medium.com/knowledge-distillation-with-pytorch-40febcf77440Inception V3论文精读:https://www.bilibili.com/video/BV1FM4y157N2

阿拉辉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
KD知识蒸馏实战案例.zip
11-10
在"KD_demo"这个案例中，我们可以预期它会展示如何构建和执行一个完整的知识蒸馏过程，可能包括准备教师和学生模型、定义损失函数、选择合适的温度参数、训练和评估学生模型等步骤。通过这个实战案例，你可以深入...
RKD知识蒸馏实战：使用CoatNet蒸馏ResNet.zip
11-16
与上一篇（https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/127787791?spm=1001.2014.3001.5501）蒸馏的方法有所不同，RKD是对展平层的特征做蒸馏，蒸馏的loss分为二阶的距离损失Distance-wise Loss...
图像任务知识蒸馏调研（知识蒸馏一）
weixin_42939529的博客
11-11 2629
图像任务只是蒸馏调研，文章阅读汇总。持续更新中~
掩码生成蒸馏——知识蒸馏
m0_47867638的博客
05-26 665
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的性能。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表示能力。从这一观点出发，我们提出了掩码生成蒸馏（Masked Generative Distillation，MGD），该方法很简单：我们随机掩码学生的特征像素，并通过一个简单的块强迫其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。
知识蒸馏基本原理
null的专栏
09-12 2274
知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型，由于网络模型复杂度的减小，使得压缩后的Student模型的性能得到较大提升。
知识蒸馏介绍及比较
热门推荐
weiyaner的博客
03-23 1万+
文章目录1 知识蒸馏(knowledge)背景2 知识蒸馏原理2.1 概念2.2 如何蒸馏3 常见的几种BERT蒸馏模型3.1 BERT蒸馏3.2 Distiled BiLSTM3.2 BERT-PKD（2019）——精调阶段的蒸馏3.3 DistilBERT(hugging face2019)——预训练阶段蒸馏3.4 TinyBERT（HW，2019）——两阶段蒸馏1 通用蒸馏2 针对特定任务的蒸馏3.5 MobileBERT（ACL2020） 1 知识蒸馏(knowledge)背景 在训练模型时，我们通
知识蒸馏综述
xys430381_1的专栏
06-16 1182
参考： 知识蒸馏简述（一） 知识蒸馏简述（二） 知识蒸馏是什么？一份入门随笔 【经典简读】知识蒸馏(Knowledge Distillation) 经典之作（xys：关于温度T的讨论）
模型压缩一-知识蒸馏
大漠帝国的博客
10-11 4493
一、知识蒸馏简介 知识蒸馏是模型压缩方法中的一个大类，是一种基于“教师-学生网络（teacher-student-network）思想”的训练方法， 其主要思想是拟合教师模型（teacher-model）的泛化性等（如输出概率、中间层特征、激活边界等），而不是一个简简单单的0-1类别标签。 这一技术的理论来自于2015年Hinton发表的一篇论文: Distilling the Knowledge in a Neural Network。知识蒸馏，英文名为Knowledge...
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
Clichong
03-19 6823
如有错误，恳请指出。 这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。 在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记录一下知识蒸馏的测试过程，见另外的一篇博客。 文章目录框架1. 知识蒸馏的算法原理1.1 知识的表示与迁移1.2 训练流程1.3 推理过程1.4 KD与Labe Smoothing的区别2. 知识蒸馏的应用场景3. 知识蒸馏的背后机理4. 知识蒸馏.
知识蒸馏
Ma_tx
12-13 225
知识蒸馏 知识蒸馏可以将一个网络的知识转移到另一个网络，这两个网络可以是同构的或者异构的。 可以用于将大网络的知识转移到一个小网络中并且保留接近于大网络的性能； 可以将多个网络学习到的知识转移到一个网络中，使得单个网络的性能接近emsemble结果。 知识蒸馏的分类 优化目标驱动 特征匹配 ...
检测知识蒸馏
weixin_41803339的博客
10-23 613
0、序言 常用的模型优化方法分为基于结构设计和非结构设计两种方法，结构设计类的包括mobilenet、ghostnet、peleenet、efficientnet、shufflenet、vovnet等等都充分考虑了计算效率和资源，专为边缘计算设备和移动端设备而生。除此之外的非机构设计的优化方法有知识蒸馏、模型量化和模型减枝，其中知识蒸馏的方法最为简单有效，已经被广泛应用到分类任务，但检测的知识蒸馏方法却很少，这里介绍一种基于特征响应的检测知识蒸馏方法。 1、论文 论文题目： 《IMPROVE OBJECT
NLP中知识蒸馏
qq_41980734的博客
02-01 2373
nlp中知识蒸馏
人工智能-项目实践-知识蒸馏-模型压缩demo（剪枝、量化、知识蒸馏）.zip
12-26
知识蒸馏是深度学习中的一种模型压缩技术，由Hinton等人在2015年提出。它的核心思想是将一个大型、复杂的教师模型的知识转移到一个小型、轻量级的学生模型中。教师模型通常是经过充分训练且表现优异的网络，而学生...
YOLO 知识蒸馏学习及落地部署（v5和v8）
12-10
知识蒸馏是将大型、复杂的教师模型的“智慧”传授给小型、高效的 student 模型的一种技术，它有助于在保持相当性能的同时减少模型的计算需求。 首先，知识蒸馏的基本思想是捕捉教师模型的输出模式，包括其对不确定...
**卷积神经网络典型CNN**
HP2LF的博客
07-23 1323
SeNet(Squeeze-and-Excitation Networks)是ImageNet 2017年分类任务冠军，核心思想是：Squeeze(挤压、压缩)和Excitation(激励)两个操作，其主要目的是通过显示的构建特征通道之间的相互依赖关系，采用特征重定向的策略，通过学习的方式自动的获取每个特征通道的重要程度，然后依据***这个重要程度去提升有用的特征，并抑制对于当前任务用处不大的特征。Squeeze特征压缩操作，将每个feature map的特征数据使用全局平均池化操作转换为一个数值(实数)，
GPU驱动、CUDA 、cuDNN 和CUDA Toolkit之间的关系（深度学习小白必懂）
weixin_44115575的博客
07-23 1180
GPU驱动、CUDA、cuDNN和CUDA Toolkit之间有着紧密的关系，它们共同构成了一个完整的GPU编程和深度学习开发环境。 在最初配置anaconda环境时一直搞不明白它们之间的关系。所以根据自己的理解，通俗详细解释它们各自的角色和相互间的关系，并且列举了一些在anaconda虚拟环境中的例子。 不对的地方希望大家指正。
人工智能与机器学习原理精解【5】
最新发布
基础数学与应用数学
07-24 1111
下面内容来自文心一言的自动生成特征值分解是一种矩阵分解方法，特别适用于方阵。它能够将一个矩阵分解成特征向量和特征值的线性组合，这在数学、物理、工程及计算机科学等多个领域都有重要应用。以下是对特征值分解的详细说明，包括算法和例子。A=QΛQ−1A = QΛQ^{-1}A=QΛQ−1其中，Q是由A的特征向量构成的矩阵（每列是一个特征向量），Λ是一个对角矩阵，其对角线上的元素是A的特征值。对于实对称矩阵，Q是正交矩阵，即Q的逆等于Q的转置（QTQ^TQT），因此特征值分解可以简化为：A=QΛQTA = QΛQ^T
【机器学习】Jupyter Notebook如何使用之基本步骤和进阶操作
m0_49243785的博客
07-23 723
Jupyter Notebook 是一个交互式计算环境，它允许创建包含代码、文本和可视化内容的文档
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值