NLP学习路线图（三十二）： 模型压缩与优化

一、 核心压缩与优化技术详解

1. 知识蒸馏：智慧的传承（Knowledge Distillation, KD）

• 核心思想：“师授徒业”。训练一个庞大、高性能但笨重的“教师模型”（Teacher Model），让其指导训练一个轻量级的“学生模型”（Student Model）。学生模型学习模仿教师模型的输出行为（预测概率分布），而非仅仅学习原始数据的硬标签。

• 关键机制：

  • 软标签（Soft Targets）：教师模型对输入样本预测的概率分布（如softmax输出）包含了比“正确/错误”硬标签更丰富的知识（如类间相似性、模型置信度）。

  • 蒸馏损失（Distillation Loss）：学生模型的目标函数通常结合：

    • KD Loss：衡量学生输出概率分布与教师输出概率分布的差异（常用KL散度）。

    • Student Loss：衡量学生输出与真实