文章目录
5 . LLMS自适应调优
经过预训练,LLMs可以获得解决各种任务的一般能力。然而,越来越多的研究表明,LLM的能力可以根据特定的目标进一步适应。本节介绍两种主要的自适应预训练LLMs的方法,即指令调优和对齐调优。前者主要旨在增强(或解锁)LLMs的能力,后者旨在使LLMs的行为与人类的价值观或偏好保持一致。此外,我们还将讨论快速模型自适应的有效调优。接下来,我们将详细介绍这三个部分。
5.1指令调优
本质上,指令调优是在一组自然语言形式的格式化实例上微调预训练LLMs的方法[62],这与监督微调[61]和多任务提示训练[28]高度相关。为了执行指令调优,我们首先需要收集或构建指令格式的实例。然后,用这些格式化的实例以监督学习的方式进行微调(例如,用序列到序列损失进行训练)。经过指令调优后,LLMs可以表现出优越的能力来泛化到未见过的任务[28,62,64],即使在多语言设置中[84]。
最近的一项综述[214]对指令调优的研究进行了系统的概述。主要关注指令调优对LLMs的影响,并为实例收集和调优提供了详细的指南或策略。此外,还讨论了如何使用指令调优来满足用户的实际需求,这已经广泛应用于现有的LLMs中,如InstructGPT[61]和gpt - 4[46]。