大型语言模型综述（二）

5 . LLMS自适应调优

经过预训练，LLMs可以获得解决各种任务的一般能力。然而，越来越多的研究表明，LLM的能力可以根据特定的目标进一步适应。本节介绍两种主要的自适应预训练LLMs的方法，即指令调优和对齐调优。前者主要旨在增强(或解锁)LLMs的能力，后者旨在使LLMs的行为与人类的价值观或偏好保持一致。此外，我们还将讨论快速模型自适应的有效调优。接下来，我们将详细介绍这三个部分。

5.1指令调优

本质上，指令调优是在一组自然语言形式的格式化实例上微调预训练LLMs的方法[62]，这与监督微调[61]和多任务提示训练[28]高度相关。为了执行指令调优，我们首先需要收集或构建指令格式的实例。然后，用这些格式化的实例以监督学习的方式进行微调(例如，用序列到序列损失进行训练)。经过指令调优后，LLMs可以表现出优越的能力来泛化到未见过的任务[28,62,64]，即使在多语言设置中[84]。

最近的一项综述[214]对指令调优的研究进行了系统的概述。主要关注指令调优对LLMs的影响，并为实例收集和调优提供了详细的指南或策略。此外，还讨论了如何使用指令调优来满足用户的实际需求，这已经广泛应用于现有的LLMs中，如InstructGPT[61]和gpt - 4[46]。