Policy Gradient算法

Policy Gradient算法

数学理论

• 不像value-based的方法(Q learning, Sarsa)，与其不同的是他要输出的不是action的value，而是具体的那一个action，这样policy gradient就跳过了value这个阶段
  • value-based输出的不是连续值，然后再选择最大的action
  • policy gradient可以在一个连续分布上选取action
• 这个方法在方反向传播的时候是没有误差的，不过它确实在做一种反向传播
  • 但是这个反向传播的目的是让这一次被选中的行为在下一次更有可能发生

(一下的$\pi (s,a)和\pi (a|s)$一个道理，可以直接计算)

• J表示当前单步MDP的状态的最优值，R表示这一动作的奖励

$$\begin{gathered} J(\theta )=E_{\pi }[R(s,a)] \\ 按照之前那个贝尔曼方程展开 \\ =\sum _{s}d(s)\sum _a{\pi }_{\theta }(s,a)R(s,a)d(s)就是之前的P \end{gathered}$$

• 求梯度

$$\begin{gathered} {\nabla }_{\theta }J(\theta )={\nabla }_{\theta }\sum _{s}d(s)\sum _a{\pi }_{\theta }(s,a)R(s,a) \\ =\sum _{s}d(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(s,a)R(s,a) \end{gathered}$$

• 然后我们想要得到概率$\pi$的分布从而来采样，下面就有一个似然比的技巧(虽然不知道为什么叫似然比，但是这个就是一个积分技巧)

$${\nabla }_{\theta }{\pi }_{\theta }(s,a)={\pi }_{\theta }(s,a)\frac{{\nabla }_{\theta }{\pi }_{\theta }(s,a)}{{\pi }_{\theta }(s,a)}={\pi }_{\theta }(s,a){\nabla }_{\theta }\log {\pi }_{\theta }(s,a)$$

• s上面的式子就把概率提出来了，所以有

$$\begin{gathered} {\nabla }_{\theta }J(\theta )=\sum _{s}d(s)\sum _a{\pi }_{\theta }(s,a){\nabla }_{\theta }\log {\pi }_{\theta }(s,a)R(s,a) \\ =E_{(s,a)\sim {\pi }_{\theta }(s,a)}[{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)R(s,a)] \end{gathered}$$

• 然后将似然率的方式应用到多步MDPs上,$q_{\pi }(s,a)$就是在整个流程中所有对应的(s,a)得到的reward

$${\nabla }_{\theta }J(\theta )=E_{(s,a)\sim {\pi }_{\theta }(s,a)}[{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)q_{\pi }(s,a)]$$

蒙特卡洛梯度策略强化算法

看起来名字很高大上，其实就是对于上面的概率分布用采样的形式来得到

• 使用随机梯度上升的方法更新参数
• 使用策略梯度法，返回$v_t$作为$q_{\pi }(s_t,a_t)$的无偏估计，$v_t$就是第t次的reward

在这里插入图片描述

带基数的trick

在采样的时候，可能有些action虽然效果好，但是没被采样到，所以要加个baseline

就是在算梯度的时候引入一个基准值，这样梯度正负性也就有了

b的取值最简单的就是取之前的平均值，每一步都会更新这个平均值