TinyLLM是一种新的知识提取方法，旨在从多个大型语言模型（LLM）中训练出小型的高效LLM学生模型。通过解决现有方法的知识多样性和上下文理解问题，TinyLLM鼓励学生模型不仅生成正确答案，而且理解答案背后的推理。通过引入上下文示例生成器和教师强制思想链策略，保证推理的准确性和相关性。实验证明，尽管TinyLLM规模小，但在推理任务上的性能超越大型教师模型。
本文是LLM系列文章，针对《TinyLLM: Learning a Small Student from Multiple Large Language Models》的翻译。
摘要
将推理能力从更强的大型语言模型（LLM）转移到更小的模型是非常有吸引力的，因为更小的LLM更灵活，部署成本更低。在现有的解决方案中，知识提炼因其卓越的效率和泛化能力而脱颖而出。然而，现有的方法存在一些缺陷，包括知识多样性有限和缺乏丰富的上下文信息。为了解决这些问题并促进紧凑语言模型的学习，我们提出了TinyLLM，这是一种新的知识提取范式，用于从多个大型教师LLM中学习一个小型学生LLM。特别是，我们鼓励LLM学生不仅要生成正确的答案，还要理解这些答案背后的原理。鉴于不同的LLM具有不同的推理技能，我们引导学生模型吸收不同教师LLM的知识。我们进一步引入了上下文中的示例生成器和教师强制思想链策略，以确保推理是准确的，并基于上下文适当的场景。在两个推理任务的六个数据集上进行的大量实验证明了我们方法的优越性。结果表明，尽管TinyLLM的模型尺寸要小得多，但它的性能明显优于大型教师LLM。
已下架不支持订阅
扫一扫
837
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
