知识蒸馏-KD

1.教师模型（结构复杂参数大）提供知识，学生模型（轻便）通过蒸馏训练来获取教师的知识。控制学习内容的宽松程度，先概况再具体。

从大模型里提取出一少部分想要的内容。

2.原理

概率就是输出，通过学习将输出更靠近标签。

这个公式中，不会只考虑true class部分的损失，还会把所有的class的也考虑。随后更新model的参数。

4.不同点

硬标签（真实答案）

软标签（概率分布）

学生不是单纯的记label/答案，而是教师告诉学生哪部分是对的 哪部分是错的 提供负样本，学生学习的是老师提供的概率分布，可以理解为从学习答案到学习“为什么”的转变。提高鲁棒性。

类似蒸馏的过程，我们可以通过调节温度即超参数T，来控制概率的分布程度。当0<T<1时，会放大分布的差异。T>1时，会缩小差异显得更平均，模型可能不知道该学啥了。

5.框架

表示既从老师的概率输出中学习，又学习了课本上的硬标签。求得两个loss，根据公式同时考虑两个loss。

6.运用 详见ppt最后

可以一个学生请教多个老师，也可以多个学生互相学习。比较灵活。 

7.实例