本文详细介绍了ChatGPT中RLHF（Reinforcement Learning from Human Feedback）的训练流程，包括预训练大规模语言模型、监督模型SFT的训练、奖励模型的构建以及基于PPO策略的RLHF。RLHF通过模拟人类反馈，解决了NLP中缺乏有效评价机制的问题，通过多次迭代优化模型，以更好地响应用户指令。
目录
]第 10 节中，我们介绍了强化学习的基本原理，以及在 NLP 领域应用的一些困难点，即，没有一个方便的手段（程序、函数或人力）能够对 ChatGPT 生成的内容做一个评价反馈。而 ChatGPT 已经抛弃了传统监督微调的方法，转而采用 RLHF（Reinforcement Learning from Human Feedback）带人工反馈的强化学习来克服这个难点。
ChatGPT 的强化学习原理
前面提到了，想要应用强化学习，总得有一个东西来评价 ChatGPT 生成输出文本的好坏，这个操作只能由人类来完成，成本巨大。RLHF 算法本质就是制作了一个神经网络模型，来模拟人类给 ChatGPT 模型的输出结果打分。
它的操作流程并不复杂，具体来讲，主要有四个步骤，我们一一来说。
Step0：预训练一个大规模语言模型
这一步做的就是之前第 3、4、5、6、7 节的内容，根据海量的高质量互联网文本语料，依据 Transformer 搭建的 LLM 模型。这是执行 RLHF 方法的前提。
如前所述，在这一步得到的预训练语言模型完成的还是文字接龙游戏。如下形式：
订阅专栏 解锁全文
273
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
