知识蒸馏——Distilling the Knowledge in a Neural Network

Distilling the Knowledge in a Neural Network是知识蒸馏的开山之作，辛顿于2015年发表的一篇论文提出！主要原因是之前提出的各种模型，无论是VGG16,Resnet，还是其他一些模型，它们都对实时性没有要求，而且模型都很大，计算量大，所以这样的模型是很难在资源有限的小型移动设备上应用的，所以辛顿提出了知识蒸馏的思想，就是用比较大的网络作为教师网络（teacher network），训练出soft target，这种soft target会表示出分类的相对信息，通俗的讲就是让机器去识别一辆宝马车，硬分类就是是宝马车为1，不是为0.而软分类是不仅知道是宝马车的概率，还知道它不是土豆的概率，不是拖拉机的概率，很明显，不是土豆和不是拖拉机的概率差别是很大的。所以，我们用软分类知道了非常重要的相对信息，这些信息会帮我们大大减少数据量。

 知识蒸馏基本框架，最终的损失函数由两个损失函数组成（soft 和 hard）。其中，先让student 和标签去求损失，再让student 和teacher求损失，最后得出损失函数。通俗的讲就是，teacher就是个老师，他会告诉student这张图是车的概率是土豆的概率是垃圾车的概率等分别是多少，ground truth就是本教科书，告诉你它是标准答案的概率！

这张图也充分反应了知识蒸馏的本质，红色是教师网络的答案，是比较标准的答案，绿色是学生的答案，离标准答案有点远，而知识蒸馏就是黄色，它让学生的答案尽可能的接近标准答案！！