instructGPT三个步骤: 1.人工标注数据,精调/微调gpt模型2.通过人工去标注gpt生成数据(为同一个样本的多次输入结果排序),训练RL的奖励模型(一般直接采用gpt模型做分类/回归任务实现)3.使用2中的RL的奖励模型,通过ppo算法,优化1中的gpt模型参数 <<< 未完待续 参考资料: https://www.bilibili.com/video/BV1hd4y187CRhttps://zhuanlan.zhihu.com/p/606582332