1.教师模型(结构复杂参数大)提供知识,学生模型(轻便)通过蒸馏训练来获取教师的知识。控制学习内容的宽松程度,先概况再具体。
从大模型里提取出一少部分想要的内容。
2.原理
概率就是输出,通过学习将输出更靠近标签。
这个公式中,不会只考虑true class部分的损失,还会把所有的class的也考虑。随后更新model的参数。
4.不同点
硬标签(真实答案)
软标签(概率分布)
学生不是单纯的记label/答案,而是教师告诉学生哪部分是对的 哪部分是错的 提供负样本,学生学习的是老师提供的概率分布,可以理解为从学习答案到学习“为什么”的转变。提高鲁棒性。
类似蒸馏的过程,我们可以通过调节温度即超参数T,来控制概率的分布程度。当0<T<1时,会放大分布的差异。T>1时,会缩小差异显得更平均,模型可能不知道该学啥了。
5.框架
表示既从老师的概率输出中学习,又学习了课本上的硬标签。求得两个loss,根据公式同时考虑两个loss。
6.运用 详见ppt最后
可以一个学生请教多个老师,也可以多个学生互相学习。比较灵活。
7.实例