论文浅尝 | 训练语言模型遵循人类反馈的指令

笔记整理：吴亦珂，东南大学硕士，研究方向为大语言模型、知识图谱

链接：https://arxiv.org/abs/2203.02155

1. 动机

大型语言模型（large language model, LLM）可以根据提示完成各种自然语言处理任务。然而，这些模型可能会展现出与人类意图不一致的行为，例如编造事实、生成带有偏见或有害信息，或者不遵循用户的指令。这种情况的原因在于LLM的训练目标是预测下一个标记（token），而不是有针对性地、安全地遵循用户的指令。这导致LLM与人类指令的对齐不足，而这一点对于在各种应用中部署和使用LLM至关重要。因此，本文的动机在于通过训练LLM，使其与用户意图保持一致。为了实现这一目标，本文采用了微调方法，提出了基于人类反馈的强化学习策略（reinforcement learning from human feedback, RLHF），该技术将人类偏好作为激励信号来微调模型。作者的方法大致分为三个部分：

（1）将GPT-3作为模型骨架，采用监督学习的方式训练，作为基线模型。

（2）人工对GPT-3的输出基于生成质量排序，在基线模型基础上训练一个能够符合人类偏好的奖励模型。

（3）将奖励模型作为奖励函数，采用极大化奖励的方式基于PPO算法微调基线模型。

通过上述3个阶段，实现了GPT-3到人类偏好的对齐，作者将微调后的模型称为InstructGPT。

2. 贡献

（1）提出了一种基于人类反馈的强化学习策略RLHF，使得LLM能够更好地符合人类的偏好，从而使模型更加有用、安全和诚实。

（2）InstructGPT相较于GPT-3，生成的结果更符合人类的偏好，具有更高的真实性和更低的潜在有害性。

（3）实验结果表明，通过RLHF微调，LLM可以更好的服从人类的指令，并且具备更强的指令泛化能力。

3. 方法

本研究基于用户在OpenAI API上提交的文本提示和人工编写的文本提示，创建了三个不同的数据集，用于微调过程：（1）监督微调数据集，用于训练监督模型，其中包含13k个训练样例；（2）奖励模型数据集，人工对模型的输出进行排序，用于训练奖励模型，该数据集包含33k个样例；（3）PPO数据