【强化学习】随机策略梯度算法（stochastic-policy-gradient）

策略搜索方法相对于值函数法有如下优缺点
优点：

1. 直接策略搜索方法是对策略$\pi$进行参数化表示，与值函数方中对值函数进行参数化表示相比，策略参数化更简单，有更好的收敛性。
2. 利用值函数方法求解最优策略时，策略改进需要求解$argma{x}_a{Q}_{\theta }(s,a)$，当要解决的问题动作空间很大或者动作为连续集时，该式无法有效求解。
3. 直接策略搜索方法经常采用的随机策略，能够学习随机策略。可以将探索直接集成到策略之中。

缺点：

1. 策略搜索的方法容易收敛到局部最小值。
2. 评估单个策略时并不充分，方差较大。

一、基础算法推导

本文主要从重要性采样角度进行分析。

策略梯度的目标依旧是最大化累积回报，定义一个参数化策略${\pi }_{\theta }$的期望累积回报如下所示
$$\begin{array}{rl}J(\theta )=E_{\tau \sim p(\tau ;\theta )}& ={\int }_{\tau \sim p(\tau ;\theta )}p(\tau ;\theta )r(\tau )d\tau \end{array}$$
$p(\tau ;\theta )$表示在策略${\pi }_{\theta }$的情况下轨迹$\tau$出现的概率，在计算时无法通过一个不确定参数的分布$p(\tau ;\theta )$进行采样，因此通过重要性采样的方式，推导如下所示。
$$\begin{array}{rl}J(\theta )& ={\int }_{\tau }\frac{p(\tau ;{\theta }_{old})}{p(\tau ;{\theta }_{old})}p(\tau ;\theta )r(\tau )d\tau \\ & ={\int }_{\tau }p(\tau ;{\theta }_{old})\frac{p(\tau ;\theta )}{p(\tau ;{\theta }_{old})}r(\tau )d\tau \\ & =E_{\tau \sim p(\tau ;{\theta }_{old})}[\frac{p(\tau ;\theta )}{p(\tau ;{\theta }_{old})}r(\tau )]\end{array}$$

对上述公式求导，由于策略函数通常是连续可微的良好函数，因此求导和积分符号可以互换。
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\int }_{\tau }{\nabla }_{\theta }p(\tau ;\theta )r(\tau )d\tau \\ & ={\int }_{\tau }\frac{p(\tau ;\theta )}{p(\tau ;\theta )}{\nabla }_{\theta }p(\tau ;\theta )r(\tau )d\tau \\ & ={\int }_{\tau }p(\tau ;\theta ){\nabla }_{\theta }\log p(\tau ;\theta )r(\tau )d\tau \\ & =E_{\tau \sim p(\tau ;}\end{array}$$