论文笔记--Training language models to follow instructions with human feedback

1. 文章简介

• 标题：Training language models to follow instructions with human feedback
• 作者：Ouyang L, Wu J, Jiang X, et al.
• 日期：2022
• 期刊：NIPS

2. 文章导读

2.1 概括

  文章给出了一种基于人类指令对大语言模型进行调整的方法。在人类标注的数据上对GPT-3进行微调，并通过人类打分的数据对上述模型进行强化学习，从而得到一个满足人类偏好的语言模型。文章的整体架构是ChatGPT的前身，相较于GPT-3，回答真实性更高，且危害信息更少。
  文章的整体架构如下

2.2 文章重点技术

2.2.1 Supervised Fine-Tune(SFT)

  文章架构中的第一部分Step1采用了SFT方法。为此，文章首先雇用了一些标记员对prompt数据进行回答，称为labeler demonstrations，然后在demonstrations上面对GPT-3进行有监督的微调。微调后的模型我们记作SFT。

  Prompt数据集通过如下方式构建：从OpenAI的Playground API（非生产环境）上面获取用户提交的prompt，其中保证使用每个用户的prompt数量不超过200条，并过滤敏感信息和重复信息（通过长的公共前缀过滤），然后按照user ID划分train, test, val。另外由于API的prompts的多样性较为单一，我们让我们的标记员自己写一些如下类别的prompts以初始化模型：

• Plain： 标记员写任意任务的prompts，保证任务的多样性
• Few-shot：标记员提出一个指令和该指令的多个问答对（Few-shot learning中的prompt）
• User-based：标记员根据OpenAI的API的waitlist（用户希望OpenAI未来的突破）上面的用例提出合适的prompts，从而将用户期望的功能放入prompts。
    prompts 数据在不同阶段的训练配比如下表所示。当前的SFT阶段大部分数据为labeler自己写的prompts。
  

2.2.2 Reward Model(RM)

  接下来我们训练一个RM打分模型，为此首先需要一个评分的数据集。OpenAI 构建了一个用户打分的UI，如下图所示。首先上述的SFT模型会对每个prompt生成$K$个候选答案（$4\le K\le 9$），用户会对每个答案打分，并对所有答案进行排序。页面的示例如下图所示。为了避免模型overfit且保证训练效率，模型训练时按照prompt对数据集划分，即保证每个prompt的所有$\left(\genfrac{}{}{0ex}{}{K}{2}\right)$答案对在同一个batch。
  RM模型根据上述打分数据进行训练，具体训练方案如下图。损失函数为$$loss(\theta )=-\frac{1}{\left(\genfrac{}{}{0ex}{}{K}{2}\right)}{E}_{(x,y_w,y_l)\sim D}[\log (\sigma (r_{\theta }(x,y_w)-r_{\theta }(x,y_l))]$$，其中$r_{\theta }(x,y)$为当前训练的RM模型的输出，$x,y$分别为prompt及其对应的回答, $y_w$为$y_w,y_l$中更受用户喜爱的回答（ranking更高的）。训练的目的为使得loss尽可能小，即另每个$(r_{\theta }(x,y_w)-r_{\theta }(x,y_l))$尽可能大，即保证模型对$y_w$打分高于$y_l$越多越好。

2.2.3 Reinforcement Learning(RL)

  接下来，我们用SFT模型预测每个prompt，并用RW预测人类偏好（rankings），再通过RL方法更新SFT的参数。文章在Stiennon[1]的工作基础上增加了PPO梯度，从而保证模型不损失原始GPT-3的回归性能。具体的目标函数为$$objective(\varphi )=E_{(x,y)\in D_{{\pi }_{\varphi }}}[r_{\theta }(x,y)-\beta \log ({\pi }_{\varphi }^{RL}(y|x)/{\pi }^{SFT}(y|x))]+\gamma E_{x\sim D_{pretrain}}[\log ({\pi }_{\varphi }^{RL}(x))]$$，其中${\pi }_{\varphi }^{RL}$为当前学习的RL策略的输出，${\pi }^{SFT}$为SFT模型的输出，$D_{pretrain}$为预训练模型GPT-3的分布，$\beta$表示KL奖励系数用于控制KL惩罚项，$\gamma$表示预训练模型损失系数用于控制预训练模型的梯度更新。RL训练的具体方案如下图

3. 文章亮点

  文章在GPT-3的基础上，通过有监督的微调SFT和基于人类反馈的模型训练RM，得到了一个更符合人类偏好的大语言模型。文章的重点突破为采用RL方法增强了模型的可信度，降低模型输出危害回答的概率。InstructGPT是ChatGPT的前身，是Chat GPT面世必不可少的一步。

4. 原文传送门

Training language models to follow instructions with human feedback

5. References

[1] Learning to summarize from human feedback
[2] GPT-3原文：Language Models are Few-Shot Learners
[3] GPT-3论文笔记