学生-教师模型 与 知识蒸馏

学生-教师模型

Student and Teacher network指一个较小且较简单的模型（学生）被训练来模仿一个较大且较复杂的模型（教师）的行为或预测。
教师网络通常是一个经过训练在大型数据集上并在特定任务上表现良好的模型。而学生网络被设计成计算效率高且参数较少的模型。
其目标是在减少计算资源需求和提高推理速度的同时，尽可能地接近教师网络的性能。

主要思想是利用教师网络的知识和经验来指导学生网络的学习过程。

训练Student and Teacher network的过程被称为"知识蒸馏"。它涉及使用教师网络的预测结果和真实标签来训练学生网络。
学生网络的损失函数通常由两部分组成：标准的交叉熵损失和蒸馏损失。蒸馏损失用来度量学生的预测与教师的软化、更概率化的输出之间的接近程度。

知识蒸馏

训练Student and Teacher network的过程称为知识蒸馏。
用于将一个大型、复杂的模型的知识转移给一个小型、简单的模型。
它的主要目标是让小型模型能够模仿大型模型的行为，并且在学习过程中，将大型模型的"知识"蒸馏（传递）给小型模型，使得小型模型在表现上能够接近或者甚至超过大型模型。