DDK: Distilling Domain Knowledge for Efficient Large Language Models

本文是LLM系列文章，针对《DDK: Distilling Domain Knowledge for Efficient Large Language Models》的翻译。

摘要

尽管大型语言模型 （LLM） 在各种应用程序中具有先进的智能功能，但它们仍然面临着巨大的计算和存储需求。知识蒸馏 （KD） 已成为一种有效的策略，通过从高性能的 LLM（即教师模式）迁移知识来提高较小的 LLM（即学生模式）的表现。LLM 蒸馏的主流技术通常使用黑盒模型 API 来生成高质量的预训练和对齐数据集，或者通过改变损失函数来利用白盒蒸馏，以更好地从教师 LLM 那里迁移知识。但是，这些方法忽略了跨域学生和教师 LLM 之间的知识差异。这会导致过度关注性能差距最小的域，而对差距较大的域关注不足，从而降低整体性能。在本文中，我们引入了一种新的 LLM 蒸馏框架，称为 DDK，它根据师生模型之间的领域性能差异，以平滑的方式动态调整蒸馏数据集的组成，使蒸馏过程更加稳定和有效。广泛的评估表明， DDK 显著提高了学生模型的性能，其性能大大优于连续预训练基线和现有的知识蒸馏方法。

1 引言

2 相关工作

3 方法