InstructGPT论文笔记

论文链接：https://arxiv.org/pdf/2203.02155.pdf

1 摘要

做的事：
1、标注了数据，问题和答案写出来，然后训练模型
2、收集数据集，排序模型的输出，使用强化学习训练这个排序的过程

效果层面来说：

• 1.3Billions的参数 InstructGPT Model比175Billions参数的GPT3效果更好
• 降低了模型输出无效、有害信息

2 导论

2.1 问题

训练语言模型的时候，即使给定了例子来遵循人类的指令，但是也会出现不好的例子，那是因为目标函数的问题
目标：

• helpful
• honest
• harmles

2.2 方法

使用RLHF

step1 在gpt3进行标注数据的微调，使用上下文，预测下一个词语，SFT
step2 给生成（beam search）的答案进行标注喜好, 排序，使用RM训练（prompt+答案=》分数），分数的排序满足，人类的排序
step3 重新训练SFT，满足生成出来的结果满足人类排序的结果
第一步的难点在于：生成式的标注难度和成本高于，判别式的标注

2.3 结果

更强

更可靠

无毒、无偏见

最小化减少对共有NLP任务的影响

生成的内容更满足人类的喜好，找人来判断的

公共的NLP数据集并不能反映出我们的语言模型的使用方式

模型有一定的泛化性，即使没见过的任务，也是能根据先验知识，进行很好的生成

3 方法和实验细节

3.1 顶层设计

Step 1: Collect demonstration data, and train a supervised policy.
Step 2: Collect comparison data, and train a reward model.
Step 3: Optimize a policy against the reward model using PPO
2/3步会反复迭代

3.2 数据集

保证任务的多样性、一个指令，多样的回答下命令也要多、已经希望构成的任务，以上数据训练了一个模型，然后放在Playground中，试运行，收集问题，根据用户ID进行划分train\dev\test，同时过滤掉了PII.
上线后产生了三个不同的数据集：

• SFT，直接写答案 13k样本
• RM数据集，ranking output 33K
• PPO, 没有标注，直接作为RLHF进行FT 31K
• 

3.3 任务

3.4 人类数据收集

招人 40个人的团队
筛选人的标准
标注的准则：helpfulness
评估的准则：truthfulness and harmlessness
标注的一致性：72.6±1.5%、77±3%

3.5 模型

3.5.1 SFT

模型用的是：GPT3
16epochs, 发现1个epochs就overfitting了，这个模型只是在初始化用

3.5.2 RM

原本的SFTmodel, 最后应该接一个softmax, 得到一个概率最大的词语，现在是，不用这个softmax,改为linear,到一个标量上，输入是：prompt+response
model是6B的model，大的模型不稳定

loss用的是pair wise ranking loss

拿出一对respond，如果yw的分数大于yl，那么最大化这个损失函数，用的是logistics regression，
每个prompt生成9个答案，C(9,2)=36对这样的数据集来进行构造损失. r是6B的GPT3
改了损失函授之后，过拟合的现象稍微缓和点了

3.5.3 RL

PPO算法

模型叫：

• pai(RL,SIGMA) RL policy,强化学习的时候采样的y会变化，就是强化选择的过程，y生成多个，并进行排序

• 

• 用上了KL散度，评估函数的相似度

• 

• GPT3训练的语言模型的损失函数，保证原本数据集的性能不要下降

•