Distilling the Knowledge in a Neural Network【论文解析】

摘要

提高几乎任何机器学习算法性能的一种非常简单的方法是在相同的数据上训练许多不同的模型，然后对它们的预测进行平均处理[3]。不幸的是，使用整个模型集合进行预测既繁琐又可能过于计算密集，特别是如果单独的模型是庞大的神经网络，这将使其无法部署到大量用户那里。Caruana及其合作者[1]已经表明，可以将集合中的知识压缩成一个单一模型，这个单一模型更容易部署，而我们使用不同的压缩技术进一步发展了这种方法。在MNIST数据集上，我们取得了一些令人惊讶的结果，并且我们表明，通过将模型集合中的知识提炼成一个单一模型，我们可以显著改进广泛使用的商业系统的声学模型。我们还引入了一种新类型的集合，由一个或多个全模型和许多专门模型组成，这些专门模型学会区分全模型混淆的细粒度类别。与专家混合不同，这些专门模型可以快速并行训练。

1 引言

许多昆虫都具有一种幼虫形态，该形态经过优化以从环境中提取能量和营养，以及一种完全不同的成虫形态，该成虫形态经过优化以适应旅行和繁殖的截然不同需求。在大规模机器学习中，尽管训练阶段和部署阶段的需求截然不同，但我们通常使用非常相似的模型：对于语音识别和目标识别等任务，训练必须从非常大、高度冗余的数据集中提取结构，但无需实时操作，可以使用大量计算资源。然而，部署到大量用户需要更严格的延迟和计算资源要求。与昆虫的类比表明，如果能更轻松地从数据中提取结构，我们应该愿意训练非常复杂的模型。这种复杂的模型可以是由分别训练的多个模型组成的集合，也可以是使用强正则化器（例如dropout）训练的单一非常大的模型。一旦训练好了这个复杂的模型，我们可以使用一种不同类型的训练，我们称之为“蒸馏”，将知识从复杂的模型转移到更适合部署的小型模型。这种策略的一个版本已经由Rich Caruana及其合作者开创[1]。在他们的重要论文中，他们令人信服地证明了从大量模型集合中获得的知识可以转移到单一的小型模型。

未完待续