DPO: Direct Preference Optimization 介绍

DPO 是 RLHF 的屌丝版本，RLHF 需要加载 4 个模型（2个推理，2个训练），DPO 只需要加载 2 个模型（1个推理，一个训练）。

RLHF：

DPO：

 

DPO 原理

DPO 的本质是监督对比学习：通过对每条prompt提供两条不同的answer，并给出这两个answer的偏好偏序，让模型输出更接近good answer，同时更远离 bad answer。

这个过程中并不强制要求上述两者同时满足，只要接近good answer的程度大于bad answer就是有效的训练，比如与good answer远离了，但是与bad answer远离的更多也是有效的。

DPO loss

 

σ ：sigmoid函数

β ：超参数，一般在0.1 - 0.5之间