深度强化学习系列(13): 策略梯度（Policy Gradient）

对于DQN来说使用一个网络直接逼近了值函数，最后取得了非常不错的效果, 但是对于一些连续性控制或者动作空间特别大的环境来说，很难全部计算所有的值函数来得到最好的策略，那么直接计算策略的方法就别提出来了。

回顾一下前面几篇，所谓的策略，其实就是状态到动作的映射数学表达为 $\pi ：s\to a$，
我们用$\tau$ 表示状态s到最后一个状态的一个序列，表示为：
$$\tau ：s_t,s_{t+1}....s_T$$
那么奖励$R(\tau )$ 是一个随机变量，没法直接作为目标函数被优化，因此采用了随机变量的期望作为目标函数：
$$J=\int r(\tau )P_{\pi }(\tau )d\tau \text{\hspace{1em}(1)}$$
因此强化学习的目标是找到最好的 $\underset{\pi }{\max }\int R(\tau )P_{\pi }(\tau )d\tau$,从最优策略的角度来说，对于序列$ s_{t},s_{t+1}…s_{T}$,最优的策略序列为：$u_{0}^{ } \to u_{1}^{ } \to u_{2}^{ } \to…u_{T}^{ }$，总结为：找到最优策略： ${\pi }^{\ast }:s\to u^{\ast }$。

继续从目标函数说起, 由于要用神经网络来计算策略梯度，需要用一个网络结构去逼近策略，在此处我们假设神经网络的结构参数为$\theta$,将目标函数由公式-1变为：
$$J(\theta )=E_{\tau \sim {\pi }_{\theta }(\tau )}[r(\tau )]={\int }_{\tau \sim {\pi }_{\theta }(\tau )}{\pi }_{\theta }(\tau )r(\tau )d\tau \text{\hspace{1em}(2)}$$
推导原因：$f(x)$ 关于某分布$P(x)$的期望，对于连续性变量，期望通过积分求得：
E x ∼ P [ f ( x ) ] = ∫ p ( x ) f ( x ) d x