深度学习 | 训练网络trick——知识蒸馏

1.原理介绍

知识蒸馏论文地址

Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏的概念，通过引入教师网络用以诱导学生网络的训练，实现知识迁移。所以其本质上和迁移学习有点像，但实现方式是不一样的。用“蒸馏”这个词来形容这个过程是相当形象的。用下图来解释这个过程。

教师网络：大规模，参数量大的复杂网络模型。难以应用到设备端的模型。
学生网络：小规模，参数量小的精简网络模型。可应用到设备端的模型，俗称可落地模型。

我们可以认为教师网络是一个混合物，网络复杂的结构就是杂质，是我们不需要用到的东西，而网络学到的概率分布就是精华，是我们需要的。如上图所示，对于教师网络的蒸馏过程，我们可以形象的认为是通过温度系数T，将复杂网络结构中的概率分布蒸馏出来，并用该概率分布来指导精简网络进行训练。整个通过温度系数T的蒸馏过程由如下公式实现：

从上述公式中可以看出，T值越大，概率分布越软（很多网上的博客都这么说）。其实我个人认为这就是在迁移学习的过程中添加了扰动，从而使