知识蒸馏（Knowledge Distillation，KD）

知识蒸馏（Knowledge Distillation，KD）是模型压缩的一种常用方法。也是我最近在用的知识图谱里面学习到的。

它不同于模型压缩中的剪枝和量化，而是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息来训练这个小模型，以期达到更好的性能和精度。这一方法最初由Hinton在2015年提出，大模型通常被称为“教师模型”（Teacher Model），而小模型则被称为“学生模型”（Student Model）。

知识蒸馏的核心在于如何将教师模型的知识有效地转移到学生模型上。常用的方法包括软标签训练、特征重构等。其中，软标签训练是指将教师模型的预测结果替换原本的二元标签，得到一组概率分布的标签。这种概率分布更能反映出不同类别之间的相对差异，从而提高学生模型的准确率。