论文浅尝 | LongForm：利用语料库抽取优化长文本生成的指令调优

笔记整理：喻靖，浙江大学硕士，研究方向为蛋白质大模型

链接：https://arxiv.org/abs/2304.08460

动机

指令调优使语言模型能够更有效地泛化，更好地遵循用户意图。不过，获取指令是十分昂贵且具有挑战性的。现有的方法采用诸如人工注释、众包数据集LLM生成噪声样例的方法。本文介绍了LongForm数据集，LongForm通过利用英语语料库的指令构建。本文提出从现有的语料库选择文档，并通过LLM基于文档生成指令。这种方法提供了一个更便宜、更干净的指令调优数据集。

本文在该数据集上微调T5，OPT和LLaMA模型，结果表明即使是较小的LongForm模型也具有良好的文本生成泛化能力。其无需对不同特定任务进行指令调整，便能取得比更大模型好的效果。

方法

从语料库生成指令。本文从C4语料库中抽取了10000个样本，从英语维基百科中抽取了5000个样本。使用OpenAI的text-davinci-003模型作为LLM。设计了提示LLM针对一个给定的文档生成指令的prompt。本文创建了三个模板来使我们的指令风格多样化：正式指令风格、非正式聊天机器人风格和搜索引擎查询风格，概率分别为50%、30%和20%。