强化学习精要-第三部分-基于策略梯度的算法（on-policy）

之前介绍的是基于最优价值的强化学习算法——值函数估计，通过最优值函数得到策略。
也就是说
$$a^{\ast }=argma{x}_{a}Q(s,a),a^{\ast }={\pi }^{\ast }(s)$$
存在模型训练稳定性问题等。

---

基于策略梯度直接计算策略可能更新的方向：将值函数表示成策略参数的某个函数，可以求出值函数关于策略参数的梯度，沿着梯度上升的方向更新。

• 算法：策略梯度法->Actor Critic->A3C、A2C

策略梯度法基本原理

目标函数（值函数）
$$J(\theta )=E_{\tau \sim \pi (\theta )}[r(\tau )]={\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau )r(\tau )d\tau$$
可以表示成这样与$\theta$相关的函数，因为积分和求导运算可以互换
$${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau )r(\tau )d\tau ={\int }_{\tau \sim \pi (\theta )}{\nabla }_{\theta }{\pi }_{\theta }(\tau )r(\tau )d\tau$$
又因为
$$\begin{gathered} {\nabla }_{x}logy=\frac{1}{y}{\nabla }_{x}y \\ y{\nabla }_{x}logy={\nabla }_{x}y \\ {\nabla }_{\theta }{\pi }_{\theta }(\tau )={\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau ) \end{gathered}$$
所以$$\begin{gathered} {\nabla }_{\theta }J(\theta )={\int }_{\tau \sim \pi (\theta )}{\nabla }_{\theta }{\pi }_{\theta }(\tau )r(\tau )d\tau \\ ={\int }_{\tau \sim \pi (\theta )}{\pi }_{\theta }(\tau ){\nabla }_{\theta }log{\pi }_{\theta }(\tau )r(\tau )d\tau \end{gathered}$$
因为$$\begin{gathered} {\pi }_{\theta }(\tau )=\pi (s_0,a_0,...,s_T,a_T) \\ =p(s_0)\prod _{t=0}^T{\pi }_{\theta }(a_t|s_t)p(s_t \end{gathered}$$