📖标题:UNA: Unifying Alignments of RLHF/PPO, DPO and KTO by a Generalized Implicit Reward Function
🌐来源:arXiv, 2408.15339
摘要
🔸LLM对数万亿个代币进行了预训练,但预训练的LLM仍可能产生不希望的响应。为了解决这个问题,提出了RLHF、DPO和KTO等对准技术。然而,这些对齐技术存在局限性。例如,RLHF需要分别训练奖励模型和策略,这在训练过程中是复杂、耗时、内存密集和不稳定的。DPO提出了最优策略和奖励之间的映射,大大简化了RLHF的训练过程。然而,它不能充分利用奖励模型,并且仅限于成对偏好数据。
🔸本文提出了统一RLHF/PPO、DPO和KTO的统一对齐框架(UNA)。首先,我们从数学上证明,在给定经典RLHF目标的情况下,最优策略是由广义隐式奖励函数诱导的。通过奖励模型和最优策略之间的这种新颖映射,UNA可以:1.将RLHF/PPO、DPO和KTO统一为最小化隐式奖励和显式奖励之间差异的监督学习;2.优于RLHF/PPO,同时简化、稳定、加速和减轻RL微调过程的内存负担;3.适应不同的反馈类型,包括成对、二进制和标量反馈。下游实验表明,UNA的表现优于DPO、KTO和RLHF。
🛎️文章简介
🔸研究问题:大语言模型(LLM)有RLHF/PPO、DPO和KTO等对齐技术,是否能够进行统一?
🔸主要贡献:论文提出了一种新的通用隐式奖励函数UNA,能够统一并简化RLHF、DPO和KTO,提高训练稳定性、减少内存需求并加速训练过程。
📝重点思路
🔺相关工作
🔸RLHF:强化学习中的人类反馈和近端策略优化,用于通过人类反馈进行策略优化。
🔸其他对齐方案:将奖励模型和最优策略两个阶段合并,直接用成对偏好数据进行训练(DPO等)、SFT对齐结合(ORPO等)或者用纳什均衡(SPPO等)。
🔸数据构建:成对数据集更难收集,将其改为二元反馈如KTO。
🔺论文方案
🔸研究目标:旨在统一不同类型的数据对齐方法,包括成对反馈、二元反馈和基于分数的反馈,适用于在线和离线模式,并结合了人类标注、奖励模型和大型语言模型(LLM)的评估方法。。
🔸UNA框架:提出了一种广义的隐式奖励函数,通过最小化隐式奖励和显式奖励之间的差异,将RLHF、DPO和KTO统一到一个监督学习框架中。
🔸损失函数:针对不同的反馈类型,设计了多种损失函数,如均方误差(MSE)和二元交叉熵(BCE),并在使用LLM或奖励模型进行评估时,选择合适的损失函数进行优化。
🔸数学证明:简化了UNA的目标函数,并证明了在特定条件下,UNA可以有效地统一RLHF、DPO和KTO。
🔸实验设计:在不同类型的数据(成对反馈、二元反馈、评分反馈)上进行实验,比较UNA与DPO、KTO和RLHF/PPO的性能。
🔎分析总结
🔸UNA简化了RLHF的训练过程,提高了训练的稳定性,并减少了内存成本,在下游任务中显著优于RLHF/PPO。
🔸UNA在成对反馈等价于DPO、在二元反馈优于KTO、在基于分数的反馈优于非基于分数的方法(包括DPO和KTO)。
🔸通过重新构造目标函数,UNA能够更有效地利用参考策略生成奖励,进一步减少内存负担。
🔸通过预先估计或逐步更新常数,可以进一步提高UNA的性能。
💡个人观点
论文的核心是广义隐式奖励函数,最小化隐式奖励和显式奖励之间的差异,简化了训练过程,提高了稳定性和性能。
附录