【强化学习】策略梯度 Policy Gradient

Policy Gradient

设trajectory为 T r a j e c t o r y τ = { s 1 , a 1 , s 2 , a 2 , . . . , s t , a t } Trajectory \quad τ= \{ s_1, a_1, s_2, a_2,...,s_t,a_t\} Trajectoryτ={s1​,a1​,s2​,a2​,...,st​,at​}
设actor的参数为$\theta$，根据$\theta$可以计算某一个轨迹$\tau$的发生的概率
$$p_{\theta }(\tau )=p(s_1)\prod _{t=1}^T{p}_{\theta }(a_t|s_t)p(s_{t+1}|s_t,a_t)$$
设轨迹$\tau$的总奖励为
$$R(\tau )=\sum _{t=0}^T{r}_t$$
则在参数$\theta$下总奖励$R$的期望值为
$$\mathbb{E}(R)=\sum _{\tau }{p}_{\theta }(\tau )R(\tau )={\mathbb{E}}_{\tau \sim p_{\theta }}(R(\tau ))$$
其梯度为
$$\begin{array}{rl}\nabla {\mathbb{E}}_{\tau \sim p_{\theta }}(R(\tau ))& =\sum _{\tau }R(\tau )\nabla p_{\theta }(\tau )\\ & =\sum _{\tau }R(\tau )p_{\theta }(\tau )\nabla \log p_{\theta }(\tau )\\ & ={\mathbb{E}}_{\tau \sim p_{\theta }(\tau )}(R(\tau )\nabla \log p_{\theta }(\tau ))\\ & \approx \frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\nabla \log p_{\theta }({\tau }^n),n是轨迹个数\\ & =\frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\nabla \log [p(s_1^n)\prod _{t=1}^T{p}_{\theta }(a_t^n|s_t^n)p(s_{t+1}^n|s_t^n,a_t^n)]\\ & =\frac{1}{N}\sum _{n=1}^{N}R({\tau }^n)\sum _{t=1}^T\nabla \log p_{\theta }(a_t^n|s_t^n)\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T}R({\tau }^n)\nabla \log p_{\theta }(a_t^n|s_t^n)\end{array}$$

Tip 1: Baseline

我们想让导致$R({\tau }^n)>0$的动作的概率变大，让导致$R({\tau }^n)<0$的动作的概率变小，这体现在上式的正负上。然而有时候$R({\tau }^n)$可能一直大于0，这时候采样到的动作的概率都会提升，只是有的提升大，有的提升小，这时候该怎么办呢，可以减去一个baseline。
$$\nabla {\mathbb{E}}_{\tau \sim p_{\theta }}(R(\tau ))=\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^T[R({\tau }^n)-b]\nabla \log p_{\theta }(a_t^n|s_t^n)$$
可以取$b=\frac{1}{N}\sum R({\tau }^n)$即平均Return，
当$R({\tau }^n)>b$时，让它的概率上升；当$R({\tau }^n)<b$时，让它的概率下降。
这个b可以随着训练不断更新。

Tip 2: Assign suitable credit

我们不能根据Return $R({\tau }^n)$来判断某一个动作的好坏，因为它只能衡量这一串动作整体的好坏。更好的衡量标准是：用$a_t$这个动作之后各步的reward来衡量，即
$${\nabla }_{\theta }{\mathbb{E}}_{\tau \sim p_{\theta }}(R(\tau ))=\frac{1}{N}\sum _{n=1}^N\sum _{t=1}^T[\sum _{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}^n-b]\nabla \log p_{\theta }(a_t^n|s_t^n)$$
此时的b可以是state-value function $V(s)$。

References:
EasyRL( https://datawhalechina.github.io/easy-rl )