ICML 2024 || 大模型偏好微调：关键策略与原因解析

基本信息

Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data

作者及研究单位：

• Fahim Tajwar, Carnegie Mellon University

• Anikait Singh, Archit Sharma, Rafael Rafailov, Stanford University

• Jeff Schneider, Carnegie Mellon University

• Tengyang Xie, University of Wisconsin-Madison

• Stefano Ermon, Chelsea Finn, Stanford University

• Aviral Kumar, Google DeepMind

论文链接：https://arxiv.org/abs/2404.14367

---

摘要

本文分析探讨了在偏好标签上微调大语言模型（LLM）的不同方法，并为实践提供指导。

核心发现：

对于LLM的偏好微调，使用在线策略采样（on-policy sampling RL）和负梯度（negative sampling）的方法可以有效地改善模型性能。这些方法通过快速重新分配特定类别分布上的概率质量，从而更有效地对齐模型策略与目标分布。

---

介绍

基本概念

在给定的偏好数据集上，通过

• （第一项）优化策略 以最大化期望奖励 ，

• （第二项）同时应用KL散度约束来限制策略 与参考策略 之间的分布差异，确保策略更新的稳健性。

具体而言，该目标可以表述为：

偏好微调分类 （Preference Fine-Tunning）

1. 在线采样策略（on-policy sampling）：

根据当前学习到的策略（policy，）显式地采样新的响应或行为。例如REINFORCE：

通俗而言在线采样策略根据模型当前的状态生成新的文本或响应，然后使用这些响应来进一步训练或微调模型，使其更好地适应特定的任务或偏好。其与离线学习（offline learning）相对，离线学习使用历史数据或模拟数据进行学习，而不直接与环境交互。

补充：完全离线微调方法 (Fully offline methods)

(1) 对比学习：完全离线的方法，例如直接偏好优化（DPO）和增量偏好优化（IPO），在没有进行在线策略采样的情况下，使用对比训练在偏好数据集 上进行训练。这些方法对来自偏好数据集 的响应（获胜响应）和 （失败响应）进行训练。

尽管没有在线策略采样，这些方法通过对比损失明确尝试减少失败响应的对数似然比，即减少 。这里， 表示当前策略， 表示参考策略。

（2）监督微调：另一个离线方法是偏好监督微调（Pref-FT, Dubois et al, 2024)，它对首选响应执行监督微调。这些方法通常类似于离线无模型方法，即这些方法不使用奖励模型来进行训练。这意味着它们直接从偏好数据中学习，而不是依赖于从数据中学习得到的奖励模型来指导策略的优化。

2. 在线策略样本复用（on-policy sample reuse）

在执行策略策略采样后，对于给定的提示-响应（prompt-response）对，是否对同一数据点进行多次梯度更新。

样本复用可以提高数据的利用效率，尤其是在数据稀缺的情况下。然而，它也需要仔细的平衡，以避免过度拟合于特定的样本，并且保持算法更新的多样性。此外，样本复用在计算资源有限的情况下尤其有用，因为它允许算法从有限的数据中学习更多的信息。

3. 负梯度 （negative gradient）

通过最小化损失函数来减少特定响应的可能性。这种策略通过将这些响应的似然函数的梯度乘以一个负系数来实现，目的是降低那些不希望发生的响应的概率。

几何解释： 在线策略采样（On-policy sampling）逐步将策略的质量（或概率分布）从参考策略 转移到采样策略 ，目的是使策略向奖励函数中的峰值移动，这个峰值由 指示。随着时间的推移，模型将更倾向于生成那些能够获得更高奖励的响应。

相对地，离线方法（offline methods）使用负梯度来降低在已学习策略下不良响应的可能性。这些方法通过减少不良响应的对数似然来实现这一目标(negative gradient)，从而在 中产生比仅最大化某种似然的策略 更大的偏差。

关键启示

奖励峰值 离参考策略 较远（情况1 & 情况2）

• 情况1：偏好数据覆盖，在线采样策略很重要。

• 情况2：偏好数据未覆盖，在线采样策略很重要，负采样策略有很大帮助。

奖励峰值 离参考策略 较近（情况3）

• 情况3：离线监督方法有效，不需要在线策略采样和负梯度方法。

---

总结

通过一系列实验和理论分析，提出了在偏好数据上微调LLM时应使用的策略。此外，作者还讨论了这些方法的理论基础，并提出了模式寻求目标(mode-seeking objectives)的概念，以统一和理解这些方法(详细请见作者原文 Section 6)。这些发现对于LLM的偏好微调实践具有重要的指导意义。

• 对多种偏好微调技术进行了系统分析，包括监督学习、在线策略强化学习（RL）和对比学习。

• 提出并证明了在线策略采样和负梯度在微调中的重要性，观察到获取更多在线策略样本与执行不同策略训练目标的更多梯度步骤之间存在权衡。

• 由于微调性能与数据组成有关，研究了偏好数据覆盖条件对性能的影响，这可以为数据收集提供指导。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓