无需强化学习的与人类偏好对齐的语言模型：Wombat袋熊

OpenAI 的 ChatGPT 理解多种多样的的人类指令，并且可以很好的应对不同的语言任务需求。自发布以来就掀起了对于通用人工智能的讨论。ChatGPT 令人惊叹的能力来源于一种新颖的大规模语言模型微调方法：RLHF（通过强化学习对齐人类反馈）。

RLHF 方法不同于以往传统的监督学习的微调方式，该方法首先让模型根据指令提示生成不同的回复，之后通过人工的评价反馈，使用强化学习的方式对 LLM 进行微调。RLHF 解锁了语言模型跟从人类指令的能力，并且使得语言模型的能力和人类的需求和价值观对齐，从而使得 RLHF 微调下的语言模型具有令人惊叹的能力。 

当前研究 RLHF 的工作主要使用 PPO 算法对语言模型进行优化。从一个使用指令和人类示范的数据通过监督学习微调的语言模型开始，PPO 算法首先使用这个语言模型输出对于不同指令数据的回复，之后通过一个奖励模型对语言模型的不同回复进行打分评价，最后使用打分评价通过策略梯度下降的方式对语言模型进行优化。