[论文阅读]知识蒸馏（Distilling the Knowledge in a Neural Network）

---

前言

论文名：Distilling the Knowledge in a Neural Network
论文作者：Geoffrey Hinton et.al.
期刊/会议名：NIPS 2014
本文作者：XMU_MIAO
日期：2020/11/26

摘要

  要提高几乎所有机器学习算法的性能，一个非常简单的方法是在同一个数据上训练许多不同的模型并平均它们的预测效果。不幸的是，使用集成模型进行预测是很麻烦的，而且可能计算成本太高，不能部署到大量用户，特别是当单个模型是大型神经网络时。有研究表示，将集成模型中的知识压缩到易于部署的单个模型是有可能的，我们使用不同的压缩技术进一步发展了这种方法。
  我们在MNIST上取得了一些令人惊喜的结果，并且我们表明，通过将集成模型的知识提炼到单个模型中可以显著改进大量应用于商业系统的声学模型。我们还引入了一种新型的由一个或多个完整模型和许多能够学习区分完整模型会混淆的细粒度类的“专家模型”。不同于“专家模型”的混合，这些“专家模型”可以快速地并行训练。

一、Introduction

  许多昆虫的幼年形态是最适合从环境中汲取能量和营养的，而成虫形态则完全不同，更适合旅行和繁殖等不同需求。昆虫的类比表明我们可以训练非常复杂的模型，其易于从数据中提取出结构。这个复杂的模型可以是独自训练模型的集成，也可以是一个用强大正则器如$dropout$训练的单个大模型。一旦复杂模型训练完毕，之后我们可以使用一种不同的训练方式，称之为“蒸馏”，将知识从复杂的模型（称之为$teacher$模型）转移到更易于部署的小模型（称之为$student$模型）中。
  对于$teacher$模型，其能够学习区分大量的类别，正常情况下，训练目标是最大化正确类别的平均对数概率，但这种学习的副作用是训练的模型会将概率分配给错误的类别上，虽然这些概率值可能很小，但一些错误类别比其他错误类别的概率值大很多。比如：一辆宝马车的照片可能有很小的概率被误认为垃圾车，但是仍比被误认为一根萝卜的概率大出很多。在错误类别上的相对概率可以反映出模型是如何进行泛化的。
  将$teacher$模型的泛化能力迁移到$student$模型的明显方法是使用由$teacher$模型的类别概率作为“软目标”用于训练$student$模型。 对于这个迁移阶段，我们可以使用相同的训练集或单独的“迁移”集。当$teacher$模型是小模型的集成时，我们使用小模型各自预测的概率分布的算术或几何平均作为“软目标”。
  当软目标具有高熵值，在训练每一个样本时软目标能够提供比硬目标（$student$模型的$groundtruth$）更多的信息并且训练每一个样本时的梯度差异更小。因此，与$teacher$模型相比，$student$模型训练数据要少得多，使用的学习率也高得多。
  对于像$mnist$一样的任务，$teacher$模型通常能够在正确类别上有高置信度，但关于所学函数的许多信息存在于软目标中极小概率的类别比例中。例如，对于一个版本的数字$2$，可能有$10^{-6}$的概率被认为是数字$3$,$10^{-9}$的概率被认为是数字$7$，而另外一种版本的情况可能相反（每种版本指的是数据集中不同形态是数字$2$）。这是非常有价值的信息，它在数据上定义了丰富的相似性结构（例如，它说明了哪个版本的$2$看起来像$3$,哪个像$7$），但它对迁移阶段的交叉熵代价函数的影响很小，因为这些概率值接近零。 之前的研究解决该问题的方式是使用$logits$（未经过$softmax$函数的值）而不是经过$softamx$函数之后的概率值，他们将$teacher$的$logits$值和$student$的$logits$值的平方差作为最小化目标。
  我们更一般的解决方案，称为“蒸馏”，是提高$softmax$最终值的温度，直到$teacher$模型产生一个合适的软目标集。当训练$s$