SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions

本文是LLM系列文章，针对《SELF-INSTRUCT: Aligning Language Models with Self-Generated Instructions》的翻译。

摘要

大型“指令调整”语言模型（即，微调以响应指令）已经证明了将零样本推广到新任务的显著能力。然而，它们在很大程度上依赖于人类书面指令数据，而这些数据在数量、多样性和创造性方面往往是有限的，因此阻碍了调优模型的通用性。我们介绍了SELFINSTRUCT，这是一个通过自举自己的生成来提高预训练语言模型的指令跟随能力的框架。我们的管道从语言模型中生成指令、输入和输出样本，然后过滤无效或类似的样本，然后使用它们来微调原始模型。将我们的方法应用于普通的GPT3，我们证明了在SUPERNATURALINSTRUCTIONS上比原始模型有33%的绝对改进，与使用私人用户数据和人工注释训练的InstructionGPT001的性能相当。为了进一步评估，我们为新任务策划了一组专家书面指令，并通过人工评估表明，使用SELF-instruction调整GPT3的性能大大优于使用现有公共指令数据集，仅与InstructionGPT001相差5%的绝对差距。SELF-instruction提供了一种几乎无注释的方法，用于将预训练的语言模型与指令对齐，我们发布了我们的大型合成数据集，以促进未来对指令调整的研究

1 引言

2 方法

3 来自GPT3的自学数据

4 实验结果

5 相关工作

6 结论

我