本文是LLM系列文章,针对《A Survey on Symbolic Knowledge Distillation of Large Language Models》的翻译。
大型语言模型的符号知识蒸馏综述
摘要
本调查论文深入探讨了大型语言模型 (LLM) 中符号知识蒸馏的新兴关键领域。随着生成式预训练 Transformer-3 (GPT-3) 和来自 Transformers 的双向编码器表示 (BERT) 等 LLM 在规模和复杂性上不断扩大,有效利用其广泛知识的挑战变得至关重要。本调查集中于将这些模型中包含的复杂、通常隐含的知识蒸馏成更具象征意义、更明确的形式的过程。这种转变对于提高 LLM 的可解释性、效率和适用性至关重要。我们根据方法和应用对现有研究进行分类,重点关注如何使用符号知识蒸馏来提高更小、更高效的人工智能 (AI) 模型的透明度和功能。该调查讨论了核心挑战,包括以易于理解的形式保持知识深度,并探讨了该领域已经开发的各种方法和技术。我们确定当前研究中的差距和未来进步的潜在机会。本调查旨在全面概述 LLM 中的符号知识蒸馏,突出其在迈向更易于访问和更高效的 AI 系统方面的重要性。
人们对符号知识的潜力越来越感兴趣,它可以提高 LLM 的可解释性、效率和应用范围,将它们转变为更健壮、更易理解和多功能的工具。尽管认识到其重要性,但仍然明显缺乏彻底检查和评估这种整合的过程和影响的全面研究。现有文献主要关注 LLM 的进步或 LLM 中的知