GPT3.5的PPO目标函数怎么来的：From PPO to PPO-ptx

给定当前优化的大模型$\pi$，以及SFT模型${\pi }_{SFT}$

原始优化目标为: $\max E_{(s,a)\sim RL}[\frac{\pi (s,a)}{{\pi }_{SFT}(s,a)}{A}^{{\pi }_{SFT}}(s,a)]$

假设型$\pi$，以及SFT模型${\pi }_{SFT}$的KL散度很小即$\frac{\pi (s,a)}{{\pi }_{SFT}(s,a)}=1$

给定奖励模型 $r(s,a)\in [0,1]$,

假设整个事件的时间范围就1步所以$Q(s,a)=R(s,a)=r(s,a)$

可以得到:

$$\begin{gathered} \max E_{(s,a)\sim RL}[\frac{\pi (s,a)}{{\pi }_{SFT}(a|s)}{A}^{{\pi }_{SFT}}(a|s)] \\ =\max E_{(s,a)\sim RL}[\frac{\pi (a|s)}{{\pi }_{SFT}(a|s)}(Q^{{\pi }_{SFT}}(s,a)-V^{{\pi }_{SFT}}(s))] \\ =\max E_{(s,a)\sim RL}[\frac{\pi (a|s)}{{\pi }_{SFT}(a|s)}(r(s,a)-V^{{\pi }_{SFT}}(s))] \\ =\max E_{(s,a)\sim RL}[r(s,a)-\frac{\pi (a|s)}{{\pi }_{SFT}(a|s)}{V}^{{\pi }_{SFT}}(s)] \\ =\max E_{(s,a)\sim RL}[r(s,a)-\frac{\pi (a|s)}{{\pi }_{SFT}(a|s)}{\int }_a{Q}^{{\pi }_{SFT}}(s,a)] \\ =\max E_{(s,a)\sim RL}[r(s,a)-\frac{\pi (a|s)}{{\pi }_{SFT}(a|s)}{\int }_{a}r(s,a)] \\ =\max E_{(s,a)\sim RL}[r(s,a)-\frac{\pi (a|s)}{{\pi }_{SFT}(a|s)}] \end{gathered}$$
此外为了约束模型$\pi$和${\pi }_{SFT}$之间不要差得太远还需要使用SFT的数据训练$\pi$，等价于$\max E_{(s,a)\sim {\pi }_{SFT}}[\pi (a|s)]$。因此优化目标就变成了:
$$\max E_{(s,a)\sim RL}[r(s,a)-\frac{\pi (a|s)}{{\pi }_{SFT}(a|s)}]+E_{(s,a)\sim {\pi }_{SFT}}[\pi (a|s)]$$
这一项和GPT3.5的优化目标基本一致: