A Survey on Knowledge Distillation of Large Language Models

本文是LLM系列文章，针对《A Survey on Knowledge Distillation of Large Language Models》的翻译。

摘要

在大型语言模型（LLM）时代，知识蒸馏（KD）成为将先进功能从领先的专有LLM（如GPT-4）转移到LLaMA和Mistral等开源同行的关键方法。此外，随着开源LLM的蓬勃发展，KD在压缩这些模型和通过聘请自己作为教师促进他们的自我改进方面发挥着至关重要的作用。本文对KD在LLM领域中的作用进行了全面的调查，强调了它在向小型模型传授先进知识方面的关键作用，以及它在模型压缩和自我改进中的实用性。我们的调查围绕三个基本支柱精心构建：算法、技能和垂直化——对KD机制、特定认知能力的增强及其在不同领域的实际意义进行了全面的研究。至关重要的是，该调查揭示了数据增强（DA）和KD之间复杂的相互作用，说明了DA如何在KD框架内成为一种强大的范式，以提高LLM的性能。通过利用DA生成上下文、特定技能的训练数据，KD超越了传统的界限，使开源模型能够接近其专有模型的上下文熟练度、道德一致性和深度语义洞察力。这项工作旨在为研究人员和从业者提供一个有见地的指南，详细概述当前知识蒸馏的方法，并提出未来的研究方向。通过弥合专有LLM和开源LLM之间的差距，这项调查强调了更易于访问、高效和强大的人工智能解决方案的潜力。最重要的是，我们坚决主张遵守规范LLM使用的法律条款，确保LLM KD的道德和合法应用。相关的Github存储库位于https://github.com/Tebmer/Awesome-Knowledge-Distillat