【论文阅读】理解DPO，《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》

前几日，大概阅读了《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》这篇论文，再来仔细阅读一下，整个推导还是很有意思。

摘要

虽然大规模无监督语言模型（LMs）可以学习广泛的世界知识和一些推理技能，但由于其训练的完全无监督性质，很难实现对它们行为的精确控制。现有的获得这种可操纵性的方法收集了人类对模型生成相对质量的标签，并对无监督的LM进行微调，以与这些偏好保持一致，通常是通过人类反馈的强化学习（RLHF）。然而，RLHF是一个复杂且经常不稳定的程序，首先拟合一个反映人类偏好的奖励模型，然后使用强化学习对大型无监督LM进行微调，以最大化这个估计的奖励，而不会偏离原始模型太远。在本文中，我们介绍了RLHF中奖励模型的一种新参数化方法，该方法能够以封闭形式提取相应的最优策略，从而使我们只需一个简单的分类损失即可解决标准的RLHF问题。我们称之为直接偏好优化（DPO）的算法是稳定的、高性能的、计算量轻的，在微调或进行重要的超参数调整时不需要从LM中采样。我们的实验表明，DPO可以微调LMs，使其与人类偏好相一致，甚至比现有方法更好。值得注意的是，使用DPO进行微调在控制代际情绪的方面超过了基于PPO的RLHF，并且在总结和单轮对话中匹配或提高了响应质量，同时更易于实现和训练。