目录
]第 10 节中,我们介绍了强化学习的基本原理,以及在 NLP 领域应用的一些困难点,即,没有一个方便的手段(程序、函数或人力)能够对 ChatGPT 生成的内容做一个评价反馈。而 ChatGPT 已经抛弃了传统监督微调的方法,转而采用 RLHF(Reinforcement Learning from Human Feedback)带人工反馈的强化学习来克服这个难点。
ChatGPT 的强化学习原理
前面提到了,想要应用强化学习,总得有一个东西来评价 ChatGPT 生成输出文本的好坏,这个操作只能由人类来完成,成本巨大。RLHF 算法本质就是制作了一个神经网络模型,来模拟人类给 ChatGPT 模型的输出结果打分。
它的操作流程并不复杂,具体来讲,主要有四个步骤,我们一一来说。
Step0:预训练一个大规模语言模型
这一步做的就是之前第 3、4、5、6、7 节的内容,根据海量的高质量互联网文本语料,依据 Transformer 搭建的 LLM 模型。这是执行 RLHF 方法的前提。
如前所述,在这一步得到的预训练语言模型完成的还是文字接龙游戏。如下形式: