本文是LLM系列文章,针对《Fine-Tuning Large Language Models with Sequential Instructions》的翻译。
摘要
大型语言模型(LLM)很难在单个查询中遵循一系列指令,因为它们可能会忽略或误解其中的一部分。这会削弱它们在复杂问题中的性能,这些问题的解决方案需要多个中间步骤,如多语言(翻译然后回答)和多模态(说明然后回答)任务。我们用LLaMA-2 70B和Mixtral-8×7B这样大的开源LLM实证验证了这一点。针对当前数据中顺序指令的稀缺性,我们提出了顺序指令调优(SIT),这是一种简单而有效的策略,可以自动增加指令调优数据,并使LLM具备执行多个顺序指令的能力。在探索了现有数据集(如Alpaca)中具有广泛中间任务的交错指令后,我们发现在涉及推理、多语言和多模态能力的下游任务中,顺序指令调整模型始终优于传统指令调整基线。为了进一步阐明我们的技术,我们分析了对抗性中间文本、看不见的任务、提示措辞、任务数量和提示长度如何影响SIT。我们希望这种方法将为复杂任务的指令调整开辟新的研究途径。我们在https://github.com/hanxuhu/Seq_IT发布代码。