知乎:曹宇
链接:https://zhuanlan.zhihu.com/p/718913850
编辑:AI椰青 | 深度学习自然语言处理 公众号
纯学术分享,侵删
DPO 的论文引用最近已经破千了,成了斯坦福的Chelsea Finn组的机器人超猛PhD学生R.M. Rafailov的第一被引论文。又由于第二梯队的大模型频繁提及DPO的变种,DPO+RM的用法未来估计机器人界的思潮对于LLM的正向影响不会削弱。
按照我平时使用的体验,我们可以将当前的主要头部三强划分为第一梯队,头部开源三强划分成为第二梯队,再加上我一直比较关心的应用侧玩家Apple:可以发现几点:
超头部玩家的对齐策略清一色的还是 RL 类方法。
开源头部玩家采用 DPO 的较多。
不论是什么 PO,基本都是采用了和 RM 结合的 xPO + RM 的做法,没有纯原始 DPO 的玩法。
大多数对齐玩家都使用了多阶段对齐的策略。
这个其实就让很多小伙伴很疑惑了,明明 DPO 的宣言是 “Your language model is secretly a reward model”,为啥在实际操作的过程中还是需要一个训练好的 RM 才能 work 呢?DPO 原始论文中的做法,也是直接将偏好对在 SFT 之后的 LLM 上训练就取得了甚至超过 PPO 的做法,为什么在实际的实操中几乎没有头部大模型复现出来这个成果呢?同时更为让人吃惊的是 DPO 作为 off-policy 算法,原理上可以直接使用专家示教做类似 imitation learning 的,但是实际上几乎所有的训练范式都在朝着 on-policy 的方向走呢?
带着这些疑问,我们可以尝试从最近的一些非常确定的技术趋势和研究来看一看,以帮助我们真正理解什么是大语言模型的对齐,从而帮助我们在实操的过程中积累正确的技术判断能力。
Discriminator-Generator Gap,现代偏好学习的基础
我们知道在老的 GAN 时代,训练一个模型的方法是使用 generator 和 discriminator 对抗的方式完成的。generator 尽量产生让 discriminator 无法判别出好坏的样本,而 discriminator D 则尽量尝试识别 generator G 的样本。这里面有一个细节,就是我们在利用 D-G gap 的时候,D 和 G 的更新不是同步做的。D 的更新在内环,第三步就做了,而 G 的更新在外环第五步才做。为什么要这么做呢?因为如果同时更新 D 和 G,对抗的 loss 会同时反向传播到这两个网络,从梯度上来看 D 和 G 的微小 gap 就弥散在了整个网络里,对抗的效率容易打折扣。
那么传统的 RLHF 是怎么做的呢?最早版本的 online PPO(InstructGPT)之前的早古版本,是通过固定训练时的 discriminator 实现的,generator 做完整个 epoch 的 rollout 之后再样本送人标。后期由于 online 版本的送标成本高,就采用了 offline 的 RM 代替了人类 discriminator。这种做法也是在一定时间段内固定 discriminator 的方式,来留给 generator 足够的时间机会进行偏好学习。
直接同时学习偏好(discriminator)和行为(generator)的方式在原始的 DPO 论文中,被认为是超越 PPO 学习效率和效果的一种好的方式。DPO 在相同 KL 散度条件下的 Reward 更好,相同 Temperature 下的 win rate 更高。
看起来从效果方面妥妥吊打了 PPO 这种比较复杂的算法,同时由于不需要训练单独的 Reward Model 似乎也是一个比较快见效的业务算法。
深入研究 DPO 和 RL
![55b3cd117cea350c7ebac78e5542594e.png](https://img-blog.csdnimg.cn/img_convert/55b3cd117cea350c7ebac78e5542594e.png)
https://openreview.net/pdf?id=lNEFatlsQb
针对 DPO 在纸面上效果很好,打榜上效果很好,但是在实际业务中仍然需要 RM 辅助的状况,Ziniu 博士比较早期的理论建模工作给出了一些解释:其中最主要的聚焦点在于三个:
Reward Model 建模任务的区别
偏好数据不足导致的可能迁移
纯离线数据推理的 offline performance gap
1. Reward Model 建模任务的区别
Reward Model 作为一个神经网络而言,它的输入是 state 和 action。也就是对应着之前的所有状态(对话历史),action 则是模型最近一轮的输出,它的目标是输出对于 state 和 action 的 reward 估计。而 Policy network 则是根据 state 输出对应 token 的概率,再加上合适的解码策略之后,变成合适的 action。这两个网络从结构上看起来就不太一样,而这种不一样正是前面讲的 discriminator 和 generator 拥有 gap 的基础。
2. 偏好数据不足导致的迁移问题
Reward Model 本身的泛化性,使得其能够在一定程度上外插一个没有见过的 state 和 action 给出自己的 reward 判断。对于 DPO 而言,要同时学行为和判断就已经不容易了,还要同时学行为和判断泛化就是难上加难了。
3. offline performance gap
在同样 on-policy 的条件下,在线训练的效果往往更好。传统 DPO 采用了大量的 offline 数据在训练早期进行推理,但随着训练的进行,offline 数据的 off-policy 程度会变高,导致生产的数据与正在优化的 policy 之间距离过大的问题,难以取得较好的效果。
一些近期实验上的例子
Yong Lin在Apple实习期间详细研究了DPO的泛化性问题:这里面主要是对于刚刚第二点进行了实验中的比较和理论阐释。implicit reward model这个概念比较抽象,简单理解就是我们采用DPO的方法同时学偏好和行为的方式。
Apple做这种研究非常合理,因为面对海量用户时,用户的意图非常复杂,同时prompt和response都有可能存在distribution shift的现象。研究的目标不是为了在各种In-distribution的榜单上取得好成绩,所以我们可以看看他的实验结论作为参考。
实验的概念解释:
EXRM:RL方法中单独训练出来的Reward Model。
DPORM:假设BT loss之后的DPO训练可以recover出Reward值(DPO也可以得到reward,很多人忽视了这一点,直接拿policy去评测了)。
实验过程:
在控制变量的条件下,对这两种RM建模方式进行比较,并混合了prompt shift(Reward Model没见过的prompt)和response shift(Reward Model没见过的回答)。实验结果显示,用DPORM的方式在ID(in-distribution)的混合场景中表现较好,但一旦面对OOD(out-of-distribution)场景,RM的精度急剧下降。尤其是对于OOD的response shift,表现最差,难以匹配EXRM的效果。而在控制变量的OOD实验中,EXRM比ID好95.2%。
这验证了第二点的假设:同时学习偏好和行为似乎不如专门学习偏好的专有网络效果好。尤其是在我们期望的RL scaling领域,如果只能通过大量数据堆叠的方式来覆盖偏好,那么通用AI系统的实现将充满挑战。
实际应用中的做法
Shusheng Xu在ICML的研究中也给出了相关的实验,主要讨论了用DPO学习policy的潜在问题。我在此展开该思路。
https://slideslive.com/39022063/is-dpo-superior-to-ppo-for-llm-alignment-a-comprehensive-study?ref=account-138648-presentations
假设我们有一个待优化的policy,他在两个可能的actions合原始概率分布各占一半,假设我们按照偏好给定这个模型进行优化。理想中我们希望拉高降低,其实这两种算法都能达到。但是我们特别想避免的是拉高一个分布外的,因为分布外的这个回答极有可能给我一个巨大的惊喜。
为什么DPO优化中允许这种情况发生呢?
因为从DPO的loss来看,这种优化目标太专注于通过压制来获得chosen和reject的gap。对于分布外的样本其实根本不在这个优化目标的考虑范围内,如果很好那么赚到,如果不好,那也只能认赔。那PPO就不会有这个问题了嘛?我们假设PPO的Reward Model就是有问题的,他就认为这个分布外的最好。从机制上就没有什么关系,因为假设我们采样到了这个回答,由于这个回答是分布外的,所以作为KL散度约束的分母,会把KL惩罚做的极大,消除所有reward的收益。
所以聪明的你估计已经看到了,针对在RM的不足,最好的方式是在DPO的时候加上RM的弥补泛化性的不足。然后由于offline带来的DPO分布外的训练不足,需要尽量使得DPO的更新和迭代和PPO一样online化。从头部开源玩家的方法来看,迭代式DPO加RM似乎是一个比较奏效的打榜玩法。
但是问题就来了,DPO加了RM,加了on-policy,又加了online,好像再加一个advantage估计和baseline就是纯RL方法了。这个方法比RL还RL,为什么还叫DPO呢。
备注:昵称-学校/公司-方向/会议(eg.ACL),进入技术/投稿群
id:DLNLPer,记得备注呦