【详解+推导！！】Policy Gradient 策略梯度法

Policy Gradient，策略梯度法是强化学习中的一种常用方法。
比较详细的推导可以看：https://datawhalechina.github.io/easy-rl/#/chapter4/chapter4?id=tips

1. 定义强化学习的问题

强化学习由三个组件构成：Actor、Environment、Reward Function。
Actor 决定如何执行下一个动作；
Environment 就是电脑主机或者对手会根据Actor的动作产生变化；
Reward Function 会根据我们做的动作进行打分。

在强化学习里面 Environment 和 Reward Function 都是不可操作的，我们的目标就是调整Actor的策略（Policy）获得最大的奖励期望。

• 一场游戏叫做一个 回合(episode) 或者 试验(trial)；

• 过程就是Env先初始化一个状态$s_1$，而后我们的Actor根据该初始状态做出动作;

• 产生一个Trajectory，我们用$\tau$表示，如下：
  τ = { s 1 , a 1 , s 2 , a 2 , . . . , s t , a t } \tau = \{s_1, a_1, s_2, a_2, ..., s_t, a_t \} τ={ s1​,a1​,s2​,a2​,...,st​,at​}

2. Policy Network

我们使用神经网络来完成动作的选择，以打电动游戏为例子：

我们有策略网络来实现策略$\pi$，网络的参数为$\theta$，输入为游戏的图像，输出的我们的操作。
在一场游戏中（一个episode），我们的Actor可以与环境交互产生一个回合的记录序列 Trajectory：
τ = { s 1 , a 1 , s 2 , a 2 , . . . , s t , a t } \tau = \{s_1, a_1, s_2, a_2, ..., s_t, a_t \} τ={ s1​,a1​,s2​,a2​,...,st​,at​}
每一个$\tau$产生的概率为：
$$\begin{array}{rl}{p}_{\theta }(\tau )& =p(s_1)p_{\theta }(a_1|s_1)p(s_2|s_1,a_1)p_{\theta }(a_2|s_2)p(s_3|s_2,a_2)...\\ & =p(s_1)\prod _{t=1}^T{p}_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)\end{array}$$
每一个$\tau$的总回报为：
$$R(\tau )=\sum _{t=1}^T{r}_t$$
我们的$\tau$是利用Actor与环境互动产生的，在动作选择过程中存在很多随机性，环境本身也存在很多随机性，所以$R(\tau )$是一个随机变量（random variable）。

所以我们不能用$R(\tau )$评价一个策略网络$\theta$的好坏，但是我们可以使用$R(\tau )$的期望评价：
E [ R ( τ ) ] = R ˉ ( τ )