本文是LLM系列文章,针对《Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs》的翻译。
摘要
从人类反馈中强化学习(RLHF)形式的人工智能对齐越来越被视为高性能大型语言模型的关键组成部分。最近的文献将近端策略优化(PPO)定位为RLHF RL部分的规范方法。然而,它涉及高计算成本和敏感的超参数调整。我们假设,导致PPO发展的大多数动机原则在RLHF中不太受实际关注,并主张使用一种计算成本较低的方法来保持甚至提高性能。我们重新审视了RL背景下人类偏好的对齐公式。保持简单性作为指导原则,我们表明在RLHF背景下,PPO的许多组成部分是不必要的,而且更简单的增强型优化变体优于PPO和新提出的“无RL”方法,如DPO和RAFT。我们的工作表明,对LLM对齐特性的仔细调整能够以低成本受益于在线RL优化。
1 引言
2 背景
3 从PPO到增强
4 实验设置
5 结果与讨论
6 结论
在高水平上,这