模型蒸馏（Distillation）

模型在训练后需要更改，以创建更紧凑的表示形式。这一过程的主要实现技术包括剪枝（pruning）和知识蒸馏。

 

知识蒸馏的基本理念，是考虑到较大网络内部存在的稀疏性或冗余性。虽然大规模网络具有较高的表示能力，但如果网络容量未达到饱和，则可以用具有较低表示能力的较小网络（即较少的神经元）表示。在 Hinton 等人 2015 年发表的研究工作中，将 Teacher 模型中转移给 Student 模型的嵌入信息称为“黑暗知识”（dark knowledge）。

 

下图给出了知识蒸馏的过程：

图 5 深度压缩过程图

 

 

图中 Teacher 模型是经过训练的卷积神经网络模型，任务是将其“知识”转移给称为 Student 模型的，参数较少的小规模卷积网络模型。此过程称为“知识蒸馏”，用于将相同的知识包含在规模较小的网络中，从而实现一种网络压缩方式，以便用于更多内存受限的设备上。