A General Theoretical Paradigm to Understand Learning from Human Preferences

---

一、论文主要创新点和结论

原文链接
1、主要创新点：

提出新的一般性目标函数ΨPO（Ψ-Preference Optimization）： 作者提出了一个新的目标函数，用于从人类偏好中学习，这个目标函数完全基于成对的偏好，从而避免了将成对偏好替换为点奖励的两个常见近似。

深入分析RLHF（Reinforcement Learning from Human Feedback）和DPO（Direct Preference Optimization）： 通过ΨPO目标函数，作者能够深入分析RLHF和DPO的行为，并识别它们的潜在缺陷。特别是，作者指出这些方法可能容易过拟合，因为它们依赖于强假设，即使用Bradley-Terry模型将成对偏好与点奖励等同起来。

引入Identity-PO（IPO）作为ΨPO的特例： 为了避免过拟合问题，作者提出了ΨPO的一个特例，即将Ψ设置为恒等映射。这种方法称为Identity-PO（IPO），它通过构造避免了Bradley-Terry模型化偏好的假设。

提出经验上有效的优化过程： 作者提出了一种实用的解决方案，通过采样损失函数来经验性地优化简化版的ΨPO，并在简单的bandit示例中比较了IPO和DPO的性能，从而为理论发现提供了经验支持。

2、主要结论：

理论统一： 通过ΨPO目标函数，RLHF和DPO可以被视为特殊情形，这为理解这些实用算法提供了理论基础。

避免过拟合： IPO方法通过保持与参考策略πref的接近，避免了过拟合问题，即使在偏好数据是确定性的情况下也能有效。

经验性能比较： 在提供的示例中，IPO在处理采样偏好时比DPO更稳定，不会收敛到贪婪策略，并且在没有观察到某些动作胜利的情况下，IPO不会完全排除这些动作。

未来工作方向： 作者建议未来的工作应该将这些实验扩展到更复杂的设置中，例如在人类偏好数据上训练语言模型。

二、知识点

1.Bradley-Terry模型是什么？

在论文中提到的“使用Bradley-Terry模型将成对偏好与点奖励等同起来”指的是一种假设，即可以通过Bradley-Terry模型来量化和表示成对偏好（即在两个选项之间人类的偏好选择），并将这种偏好关系转换为点奖励（pointwise rewards），这些点奖励可以在强化学习（RL）中作为反馈信号来指导模型的学习。

具体来说，Bradley-Terry模型是一种用于建模和估计成对比较结果的概率模型。在这个模型中，对于给定的两个动作或选项，模型会预测一个选项被偏好的概率。这个概率可以通过一个sigmoid函数来表示，该函数是两个选项的奖励值（或效用值）差的函数。在RLHF中，这个模型被用来训练一个奖励模型，该模型可以预测人类对于不同动作的偏好，并将其转换为可以用于RL的点奖励。

这种方法的关键假设是，通过Bradley-Terry模型得到的点奖励可以准确地代表人类的成对偏好，使得RL算法可以使用这些点奖励来优化策略，从而生成更符合人类偏好的行为或输出。然而，论文中也指出，这种替换假设可能会导致过拟合问题，特别是在偏好数据是确定性或几乎确定性的情况下。因此，作者提出了ΨPO和IPO方法，以避免依赖这种点奖励模型，并直接从成对偏好数据中学习。

2.点奖励是什么

点奖励（pointwise reward）是强化学习（Reinforcement Learning, RL）中的一个概念，它指的是在RL环境中，智能体（agent）执行某个动作（action）后，环境会根据该动作的结果给予一个即时的反馈值，这个值就是奖励（reward）。点奖励通常是数值型的，它可以是正的、负的或是零，用以表示动作的好坏或效果的优劣。

在强化学习中，智能体的目标是通过与环境交互来最大化累积奖励。智能体在每个时间步骤（time step）都会根据当前的状态（state）选择一个动作，并执行该动作。执行动作后，环境会根据智能体的动作以及当前状态，给出一个点奖励，并且更新状态。智能体根据这些奖励来学习如何选择更好的动作，从而在长期内获得更多的累积奖励。

例如，在一个游戏环境中，智能体每走一步可能会得到一定的奖励或惩罚。如果智能体的走法导致游戏胜利，它可能会得到一个较大的正奖励；如果走法导致游戏失败，则可能会得到一个较大的负奖励；如果走法对游戏结果没有明显影响，则可能会得到一个接近零的奖励。

点奖励与成对偏好的主要区别在于，点奖励是针对单个动作的即时反馈，而成对偏好则是在两个或多个选项之间做出的选择偏好。在某些情况下，可以通过一定的模型（如Bradley-Terry模型）将成对偏好转换为点奖励，以便在强化学习框架中使用。

3.PPO、DPO、RLHF、ΨPO对比

PPO（Proximal Policy Optimization）：

PPO是一种流行的策略梯度方法，用于优化强化学习中的策略。
它通过限制策略更新的幅度来避免训练过程中的不稳定性。
PPO不直接使用人类偏好，而是通过与环境的交互来学习最优策略。
DPO（Direct Preference Optimization）：

DPO是一种直接从人类偏好数据中学习策略的方法，它避免了使用奖励模型。
它通过优化一个目标函数来直接调整策略，使得学习到的策略更符合人类的偏好。
DPO不依赖于从偏好数据中学习点奖励的假设。
RLHF（Reinforcement Learning from Human Feedback）：

RLHF是一种结合了人类反馈的强化学习方法，它通常包含两个阶段：首先学习一个奖励模型，然后使用这个奖励模型来优化策略。
它依赖于人类评估者提供的成对偏好，通过训练一个分类器（通常是基于Bradley-Terry模型）来预测给定上下文中哪个动作更受欢迎。
RLHF使用学习的奖励模型来指导策略的优化，同时通过KL正则化来保持策略与某个参考策略的接近性。
ΨPO（Ψ-Preference Optimization）：

ΨPO是一种新的理论框架，它提供了一个通用的目标函数，可以表达RLHF和DPO作为特例。
它通过最大化一个关于成对偏好的非线性函数来学习策略，并且可以通过选择不同的Ψ函数来调整学习过程。
ΨPO特别关注避免过拟合问题，这是DPO在处理确定性或几乎确定性的偏好数据时可能面临的问题。
ΨPO的一个特例，Identity-PO（IPO），通过设置Ψ为恒等映射，直接优化总偏好，而不需要通过奖励模型。