Grimoire is All You Need for Enhancing Large Language Models

本文是LLM系列文章，针对《Grimoire is All You Need for Enhancing Large Language Models》的翻译。

摘要

上下文学习（ICL）是通过提供一组少量的例子来提高大型语言模型在特定任务上的性能的关键方法之一。然而，由于模型架构、学习数据量和参数大小等因素，不同类型模型的ICL能力表现出显著差异。通常，模型的参数大小越大，学习数据越广泛，其ICL能力就越强。在本文中，我们提出了一种方法SLEICL，该方法包括使用强语言模型从示例中学习，然后总结并将这些学到的技能转移到弱语言模型中进行推理和应用。这确保了ICL的稳定性和有效性。与直接使弱语言模型能够从提示示例中学习相比，SLEICL降低了ICL对这些模型的难度。我们在多达八个数据集和五个语言模型上进行的实验表明，弱语言模型使用SLEICL方法实现了对其自身零样本或少搜索功能的一致改进。一些弱语言模型甚至在SLEICL的帮助下超过了GPT4-1106preview（零样本）的性能。