本文介绍了ChatGPT中的人类反馈强化学习（RLHF），包括奖励模型（RM）和近端策略优化算法（PPO）。RM通过人工反馈对SFT Model的回答进行打分，而PPO利用RM提供的奖励信号优化策略。RLHF通过与人类交互，提升模型的回答质量，但受限于算力，仅完成了训练流程的调试。
团队博客: CSDN AI小组
相关阅读
1 前言
在当今数字化的时代，ChatGPT 的火热程度不断升级。ChatGPT 可以处理复杂的语言任务，从而解放人力资源，提高工作效率，减少成本。ChatGPT 的先进技术和广泛应用，使得它成为了当今最炙手可热的人工智能技术之一。无论是企业、学术机构，还是科技爱好者，都对 ChatGPT 的应用前景充满期待。
在这样的背景之下，CSDN AI 团队也想对 ChatGPT 进行简单的复现。根据ChatGPT官方博客可知，ChatGPT的训练方法与 InstructGPT 的训练方法基本一致 (如图1所示)，只是使用的数据集不一样。故在训练方法上，我们主要参考 InstructGPT 进行复现，基础模型使用的是 RWKV，拆分后共包含以下四个阶段：
- (1) 语言模型预训练 (Language Model Pre-training)；
- (2) 有监督指令微调 (Supervised Fine-Tuning, SFT)；
- (3) 奖励模型的训练 (Reward Modeling, RM);
- (4) 使用近端策略优化算法进行强化学习 (Proximal Policy Optimization, PPO).
第 (1)、(2) 阶段的 Pre-training 和 SFT 由 @zxm2015 完成，可参考文章大语言模型浅探一。本文主要介绍第 (3
最低0.47元/天 解锁文章
扫一扫
2367
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
