详解白盒和黑盒知识蒸馏

白盒知识蒸馏

在白盒蒸馏中，教师模型的架构和权重是完全可访问的。这种透明度使学生模型不仅可以学习教师模型的输出，还可以学习其内部表示和决策过程。

黑盒知识蒸馏

与白盒蒸馏相反，黑盒蒸馏不需要访问教师模型的内部信息。相反，它专注于复制教师模型的输出行为。学生模型仅从教师生成的输入输出配对中学习，而对其内部操作没有任何了解。例如 LaMini-LM 这项工作创建了一组 258 万条指令，并采用 GPT-3.5 Turbo 来生成对这些指令的响应。随后，它使用这些指令作为基础来微调一系列学生模型。

黑盒蒸馏也被认为是一种很有前途的工具，可以将思维链 (CoT) 的力量从较大的模型转移到较小的模型。

参考

1. LLM Inference Unveiled: Survey and Roofline Model Insights