2.策略梯度（Policy Gradient）+Gradient Ascent

目录

深度强化学习目录

简介

策略梯度，顾名思义，就是优化策略的梯度。我们之前讲了Policy-based和Value-based，而Policy-based方法就是直接训练策略的一组参数。如何训练？策略梯度就是一种方法。

基本思路

要训练一个Policy-based的方法，其实只需要三步。

• 第一步，用一个神经网络作为策略自身，神经网络的参数为$\theta$。
• 第二步，设置一个Loss function，告诉神经网络什么样的策略是好的。
• 第三步，得到最佳策略。

符号

• $\tau$：一轮游戏中的具体过程（trajectory）， τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s T , a T , r T } \tau=\{s_1,a_1,r_1,s_2,a_2,r_2,\ldots,s_T,a_T,r_T\} τ={s1​,a1​,r1​,s2​,a2​,r2​,…,sT​,aT​,rT​}，是状态-行为-奖赏的时间序列。
• $p(\tau |\theta )$：参数为$\theta$时，采取过程$\tau$的概率。
• ${\tau }^n$：根据$p(\tau |\theta )$采样出来的过程$\tau$，上标$n$代表是采样第$n$次的得到的过程。
• $R_{\theta }$：参数为$\theta$时在一轮游戏中的累积奖赏，$R_{\theta }=\sum r_t$。
• $R(\tau )$：游戏过程中所获取的奖赏的总和，$R(\tau )={\sum }_{t=1}^T{r}_t$
• ${\pi }_{\theta }$：使用参数$\theta$的策略$\pi$。由于我们采取神经网络，所以实际上策略$\pi$和参数$\theta$是基本可以看作绑定在一起的。

目标函数$J(\theta )$

第一步没什么好说的，输入状态，输出对每一个动作的选取概率，这就是神经网络，至于具体用CNN还是ResNet之类的，看实际情况来决定，我们先来说说Loss function。
损失函数，就是衡量神经网络的输出$\hat{y}$，和最终目标$y$之间的差距大小。但是强化学习并没有那个给定的“最终目标”，他不会告诉你在s状态下采取行为a是最优解，他只会给你这个行为的reward。因此，这里我们使用的不是“损失函数”，而是目标函数$J(\theta )={\bar{R}}_{\theta }=\mathbb{E}[R_{\theta }]={\sum }_{\tau }R(\tau )P(\tau |\theta )$。

我们的目标是最大化这个目标函数。

Gradient Ascent

关于gradient decent和gradient ascent的区别比较好理解，梯度下降是为了最小化，而梯度上升是为了最大化，因此我们这里选择梯度上升，从而得到最佳的参数${\theta }^{\star }$：
$${\theta }^{\star }=arg\underset{\theta }{\max }{\bar{R}}_{\theta }$$
怎么实现梯度上升呢？很简单：

• 选取一个初始值${\theta }^0$
• ${\theta }^1\leftarrow {\theta }^0+\eta \nabla {\bar{R}}_{{\theta }^0}$
• ${\theta }^2\leftarrow {\theta }^1+\eta \nabla {\bar{R}}_{{\theta }^1}$
• $\dots$

这其中，$\nabla {\bar{R}}_{\theta }$就是${\bar{R}}_{\theta }$的梯度，是一个向量，且向量中每一项是${\bar{R}}_{\theta }$对${\theta }_i$分量的偏微分$\frac{\partial {\bar{R}}_{\theta }}{\partial {\theta }_i}$。
但如果直接这样对每一项取偏微分，实际运算压力太大了，因此我们作出转换。
$$\begin{array}{rl}\nabla {\bar{R}}_{\theta }& =\nabla (\sum _{\tau }R(\tau )P(\tau |\theta ))\\ & =\sum _{\tau }R(\tau )\nabla P(\tau |\theta )\\ & =\sum _{\tau }R(\tau )P(\tau |\theta )\frac{\nabla P(\tau |\theta )}{P(\tau |\theta )}\\ & =\sum _{\tau }R(\tau )P(\tau |\theta )\nabla logP(\tau |\theta )\end{array}$$
这其中，第二步是由于$R(\tau )$与$\theta$无关，因此梯度可以移到里面去。而第三步到第四步的转换是简单的高数基础，即对数函数的微分等于其函数的倒数乘上函数内部的微分。又因为有求和符号和概率P，所以可以由概率分布的形式转换成均值的形式，于是我们得到了公式2.1：$$\nabla {\bar{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\nabla logP(\tau |\theta )\text{\hspace{1em}(2.1)}$$

那么接下来，我们来看看$\nabla logP(\tau |\theta )$等于什么。
由于 τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 , … , s T , a T , r T } \tau=\{s_1,a_1,r_1,s_2,a_2,r_2,\ldots,s_T,a_T,r_T\} τ={s1​,a1​,r1​,s2​,a2​,r2​,…,sT​,aT​,rT​}，所以有：$$P(\tau |\theta )=p(s_1)p(a_1|s_1,\theta )p(r_1,s_2|a_1,s_1)p(a_2|s_2,\theta )\dots$$
其中不含$\theta$的项都是由环境environment提供的概率，不需要考虑。又因为对于不含$\theta$的项作出$log$（连乘变求和）再偏微分后全部是0，所以有：$$\nabla logP(\tau |\theta )=\sum _{t=1}^T\nabla logp(a_t|s_t,\theta )\text{\hspace{1em}(2.2)}$$
结合公式2.1和2.2，我们可以得到公式（约等于符号直接写成等号了）：$$\nabla {\bar{R}}_{\theta }=\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}R({\tau }^n)\nabla logp(a_t^n|s_t^n,\theta )$$
其中，$T_n$代表第n轮游戏所持续的时间，上标n代表第n轮游戏的a和s。
再次回顾迭代式${\theta }^{new}\leftarrow {\theta }^{old}+\eta \nabla {\bar{R}}_{{\theta }^{old}}$，我们会发现$\theta$的优化会使得某轮游戏中的所有行动a在对应状态s下出现的概率提升或降低。这是由于我们式子中的reward是$R({\tau }^n)$，是第n轮游戏的整体收益。如果$R({\tau }^n)>0$，那么$p(a_t^n|s_t^n,\theta )$就会增大；反之就会减小。
这是很直觉也很管用的。假设我们计算的reward不再是一整轮游戏而是某个具体的动作，比如说打飞机游戏可以向左、向右、开火，而learning出来的结果是开火获得了reward，那最后学出来的策略可能就只会开火，而不会左右移动了。
而缺点在于，他增大或降低的是所有行为的概率，因此需要很多的训练量，足够的数据量才能保证训练结果可靠，否则会出现很多不可信的“冗余操作”。实际应用中，就是神经网络要训练很久。
至此为止，Policy Gradient基本就讲完了，下面还有两个可以优化的tip。

Tip1:Add a Baseline

在实际操作过程中，可能会出现所有$R_{\theta }$都为正的情况，这是根据游戏设计而定的，这就会出现一些问题。
比如说，某游戏一共有三个动作$a_1,a_2,a_3$，并且我们已知在状态s下这三个动作增加的reward的关系是$r_{a_1}<r_{a_2}<r_{a_3}$。如果在数据采样的过程中，这三个动作都采样到了，那当然没关系，三个动作的p都会提升，且$a_3$提升的幅度最大，从而导致其他两个动作的概率相应减小；但假设$a_3$没有采样到，$a_1,a_2$采样到了，那么$a_1,a_2$的概率必然提升（因为$R_{\theta }$总为正），而$a_3$的概率必然下降。
因此，我们希望保证$R_{\theta }$能有正有负，所以公式变为：$$\nabla {\bar{R}}_{\theta }=\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(R({\tau }^n)-b)\nabla logp(a_t^n|s_t^n,\theta )$$
其中，b就是baseline，$b\approx \mathbb{E}[R({\tau }^n)]$。

Tip2:Assign Suitable Credit

之前也说过了，我们是根据一整轮游戏的结果来对所有$\tau$上的行为，而非针对行为a本身。这是不公平的，显然。有可能有一些行为是好的，但是其他行为是差的，从而导致了不好的结果。虽然经过大数量的采样可以基本保证好的行为得到正的奖赏，但我们可以考虑直接对行为进行奖赏或惩罚。
怎么做呢？想法也很简单。我们不再考虑整盘游戏的$R({\tau }^n)$，而是从行为所在的时间点开始的累积奖赏${\sum }_{t^{\prime }=t}^{T_n}{r}_{t^{\prime }}^n$。又考虑到未来的奖赏受此时行为的影响较小，我们考虑添加一个折扣参数$\gamma$，于是改为${\sum }_{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n$，这里$\gamma$上的$(t^{\prime }-t)$不是上标，而是幂次数。当然了，$\gamma <1$。
于是我们得到公式：
$$\nabla {\bar{R}}_{\theta }=\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(\sum _{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n-b)\nabla logp(a_t^n|s_t^n,\theta )$$
这样看起来太冗长了。我们定义优势函数$A^{\theta }(s_t,a_t)={\sum }_{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n-b$，上标$\theta$表示我们是用${\pi }_{\theta }$的策略模型来对环境做出互动。
所以，最终公式为：
$$\nabla {\bar{R}}_{\theta }=\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}{A}^{\theta }(s_t,a_t)\nabla logp(a_t^n|s_t^n,\theta )\text{\hspace{1em}(2.3)}$$

总结

策略梯度的目的就是最大化$R_{\theta }$的期望值，常用的方法是采用神经网络，以梯度上升的方式来进行优化。
策略梯度的缺点在于每一次参数更新完都要重新用更新完的模型去采样，然后再次更新，非常慢。有关这一点的优化我们会在之后进行讨论。