强化学习：策略梯度Policy-gradient

强化学习：策略梯度Policy-gradient

这是一篇笔记文

1. value-based and policy-based

1. value-based基于价值的RL，倾向于选择价值最大的状态或者动作；value-based通过迭代计算最优值函数Q，并根据最优值函数改进策略。

2. policy-based基于策略的RL，常分为随机策略与确定性策略；无需定义价值函数，policy-based可以通过动作分配概率分布，并按照该分布来根据当前状态执行动作；其原理在于将策略参数化，即${\pi }_{\theta }(s)$, 通过寻找最优参数$\theta$，使得累计回报的期望最大: $maxE[{\Sigma }_{t=0}^{k}R(s_t)|{\pi }_{\theta }]$， 此时${\pi }_{\theta }(s)$即为最优策略。

区别：

1）相较于value-based直接将值函数参数化表示相比，policy-based直接将策略参数化表示，使得策略$ \pi_{\theta}(s) $更加简单高效、易收敛。

2）利用value-base适用于离散的动作空间，动作空间虽然可以离散化处理，但离散间距的选取不易确定，并且value function的微小变化对策略的影响很大。而policy-based适用于连续的动作空间，不用计算每个动作的概率，而是通过正态分布选择action。

3）policy-based常采用随机策略，随机策略将探索$\epsilon$ 集成到了所学的策略中。

4）policy-based基于梯度的求解，容易陷入局部最优。

5）policy-based评估单个策略时并不充分，方差很大。

---

2. 策略梯度Policy-gradient

trajectory: $\tau :s_1,a_1,r_1,...,s_t,a_t,r_t$

trajectory回报：$R(\tau )={\Sigma }_{t=0}^{k}R(s_t,a_t|\theta )$

目标函数：$l(\theta )=E[{\Sigma }_{t=0}^{k}R(s_t,a_t)|\pi (\theta )]={\Sigma }_{\tau }p(\tau |\theta )R(\theta )$
eg. $p(\tau |\theta )$为轨迹的概率分布

梯度下降求解：${\theta }_{new}={\theta }_{old}+\alpha {▽}_{\theta }l(\theta )$

$$\begin{gathered} {▽}_{\theta }l(\theta )={▽}_{\theta }{\Sigma }_{\tau }p(\tau |\theta )R(\tau )={\Sigma }_{\tau }{▽}_{\theta }p(\tau |\theta )R(\tau ) \\ ={\Sigma }_{\tau }\frac{p(\tau |\theta )}{p(\tau |\theta )}{▽}_{\theta }p(\tau |\theta )R(\tau ) \\ ={\Sigma }_{\tau }p(\tau |\theta )\frac{{▽}_{\theta }p(\tau |\theta )R(\tau )}{p(\tau |\theta )} \\ ={\Sigma }_{\tau }p(\tau |\theta ){▽}_{\theta }logp(\tau |\theta )R(\tau ) \end{gathered}$$
其中，${▽}_{\theta }logp(\tau |\theta )=\frac{1}{p(\tau |\theta )}{▽}_{\theta }p(\tau |\theta )$, 这是由公式：$\frac{dlog(f(x))}{dx}=\frac{1}{f(x)}\frac{df(x)}{dx}$得到的。

最终变成求解${▽}_{\theta }logp(\tau |\theta )R(\tau )$的期望，
可以利用经验平均估算：
${\overline{R}}_{\theta }=\frac{1}{N}{\Sigma }_{n=1}^N{▽}_{\theta }logp({\tau }^n|\theta )R({\tau }^n)$

${▽}_{\theta }{l}_{\theta }=\frac{1}{m}{\Sigma }_{n=1}^m{▽}_{\theta }logp({\tau }^n|\theta )R({\tau }^n)$

---

1、 那么如何求解${▽}_{\theta }logp(\tau |\theta )$ ?

根据trajectory可以得到概率：
$$\begin{gathered} p(\tau |\theta )=p(s_1)p(a_1|s_1;\theta )p(r_1,s_2|s_1,a_1)p(a_2|s_2,\theta )p(r_2,s_3|s_2,a_2)...p(a_t|s_t,\theta )p(r_t,s_{t+1}|s_t,a_t) \\ =p(s_1)\prod _{t=1}^{T}p(a_t|s_t,\theta )p(r_t,s_{t+1}|s_t,a_t) \end{gathered}$$
从而推导求得：
$$\begin{gathered} logp(\tau |\theta )=logp(s_1)+{\Sigma }_{t=1}^{T}logp(a_t|s_t.\theta )+logp(r_t,s_{t+1}|s_t,a_t) \\ ==>{▽}_{\theta }logp(\tau |\theta )={\Sigma }_{t=1}^T{▽}_{\theta }logp(a_t|s_t,\theta ) \end{gathered}$$

---

2、最终如何求解策略的梯度？

${\theta }_{new}={\theta }_{old}+\alpha {▽}_{\theta }\overline{R}(\theta {)}_{old}$

求解过程如下：
$$\begin{gathered} {▽}_{\theta }{\overline{R}}_{\theta }\approx \frac{1}{N}{\Sigma }_{n=1}^N{▽}_{\theta }p({\tau }^n|\theta )R({\tau }^n) \\ =\frac{1}{N}{\Sigma }_{n=1}^{N}R({\tau }^n){\Sigma }_{t=1}^T{▽}_{\theta }logp(a_t^n|s_t^n,\theta ) \\ =\frac{1}{N}{\Sigma }_{n=1}^N{\Sigma }_{t=1}^{T}R({\tau }^n){▽}_{\theta }logp(a_t^n|s_t^n,\theta ) \end{gathered}$$

参考：李宏毅(Reinforcement Learning)