《强化学习的数学原理》(2024春)_西湖大学赵世钰 Ch9 策略梯度方法 9.4- Monte Carlo policy gradient (REINFORCE)

• PDF 资料 整理 v3 链接
• 视频 链接

⭐ 9.4 Monte Carlo policy gradient (REINFORCE)

如何用基于梯度的方法来 优化指标 以获得最优策略？

最大化 $J(\theta )$ 的梯度上升算法

$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }J({\theta }_t)\\ & ={\theta }_t+\alpha \mathbb{E}[{\nabla }_{\theta }\ln \pi (A|S,{\theta }_t)q_{\pi }(S,A)](9.31)\end{array}$

其中 $\alpha >0$ 是一个常数学习率。

由于式 (9.31) 的真实梯度是未知的 〔 环境模型无法获知 〕，我们可以用 通过以下算法得到的随机梯度 代替。

${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)q_t(s_t,a_t)(9.32)$

• 其中 $q_t(s_t,a_t)$ 是 $q_{\pi }(s_t,a_t)$ 的近似

因为 ${\nabla }_{\theta }\ln \pi (a_t|s_t,{\theta }_t)=\frac{{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}$

将 式 (9.32) 重写为

$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha \frac{{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)}{\pi (a_t|s_t,{\theta }_t)}{q}_t(s_t,a_t)\\ & ={\theta }_t+\alpha \underset{定义为{\beta }_t}{\underbrace{\frac{q_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}}}{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)\\ & ={\theta }_t+\alpha {\beta }_t{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)(9.33)\end{array}$

• 〔 通过改变 $\theta$ 优化 $\pi (a_t|s_t)$ 的值 〕

1、 如果 ${\beta }_t\ge 0$， 选择 $(s_t,a_t)$ 的概率增大。即 $\pi (a_t|s_t,{\theta }_{t+1})\ge \pi (a_t|s_t,{\theta }_t)$。 〔 梯度上升 〕

• 如果 ${\beta }_t<0$， 选择 $(s_t,a_t)$ 的概率减小。即 $\pi (a_t|s_t,{\theta }_{t+1})<\pi (a_t|s_t,{\theta }_t)$。 〔 梯度下降 〕

证明上面的 直觉 ——> 数学表示
当 ${\theta }_{t+1}-{\theta }_t$ 足够小，进行泰勒展开，有
  ~  
$\begin{array}{rl}\pi (a_t|s_t,{\theta }_{t+1})& \approx \pi (a_t|s_t,{\theta }_t)+({\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t){)}^T({\theta }_{t+1}-{\theta }_t)\\ & =\pi (a_t|s_t,{\theta }_t)+({\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t){)}^T\cdot \alpha {\beta }_t{\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t)将式(9.33)代入\\ & =\pi (a_t|s_t,{\theta }_t)+\alpha {\beta }_t\Vert {\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t){\Vert }_2^2\end{array}$
显然，当 ${\beta }_t\ge 0$ 时， $\pi (a_t|s_t,{\theta }_{t+1})\ge \pi (a_t|s_t,{\theta }_t)$
当 ${\beta }_t<0$ 时， $\pi (a_t|s_t,{\theta }_{t+1})<\pi (a_t|s_t,{\theta }_t)$

探索与利用 的折衷

2、由于 ${\beta }_t=\frac{q_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)}$， 该算法在某种程度上权衡了探索和利用。

• 一方面 ${\beta }_t$ 和 $q_t(s_t,a_t)$ 成正比，如果 $(s_t,a_t)$ 的动作价值很大，则 ${\beta }_t\uparrow =\frac{q_t(s_t,a_t)\uparrow }{\pi (a_t|s_t,{\theta }_t)}$，更新后的策略将增大选择 $a_t$ 的概率。即 $\pi (a_t|s_t,{\theta }_{t+1})\uparrow =\pi (a_t|s_t,{\theta }_t)+\alpha {\beta }_t\uparrow \Vert {\nabla }_{\theta }\pi (a_t|s_t,{\theta }_t){\Vert }_2^2$
  即 该算法倾向于 利用 具有更大价值的动作。
• 当 $q_t(s_t,a_t)>0$， 如果选择 $a_t$ 的概率很小，即 $\pi (a_t|s_t,{\theta }_t)$ 很小，将会使得 ${\beta }_t$ 变大 〔${\beta }_t\uparrow =\frac{q_t(s_t,a_t)}{\pi (a_t|s_t,{\theta }_t)\downarrow }$〕，更新后的策略会增大这个动作的选择概率。类似地， $\pi (a_t|s_t,{\theta }_{t+1})\uparrow$
  即该算法倾向于探索具有低概率的动作。

————————

梯度近似需要的样本 如何获取？

采样 $S$： $S\sim \eta$。不是 $d_{\pi }$ 就是 ${\rho }_{\pi }$，表示策略 $\pi$ 下的长期行为。

采样 $A$： 遵循 $\pi (a|s_t,{\theta }_t)$ 选择 $a_t$
on-policy 同策略。

实际代码实现中：首先通过 遵循 $\pi (\theta )$ 生成一个回合。然后，使用回合中的每个经验样本多次更新 $\theta$。

伪码

算法 9.1：REINFORCE
初始化： 策略网络权重参数 $\theta$；折扣因子 $\gamma \in (0,1)$； 优化学习率 $\alpha >0$
目标： 学习可将 $J(\theta )$ 最大化的最优策略
对每个回合， $\mathbf{do}$：
        ~~~~~~~        遵循策略 $\pi (\theta )$ 生成一个回合 { s 0 , a 0 , r 1 , ⋯   , s T − 1 , a T − 1 , r T } \{\textcolor{blue}{s_0,a_0,r_1},\cdots,\textcolor{blue}{s_{T-1},a_{T-1},r_T}\} {s0​,a0​,r1​,⋯,sT−1​,aT−1​,rT​}
        ~~~~~~~        对于 $t=0,1,\cdots ,T-1:$
               ~~~~~~~~~~~~~~               价值更新： $q_t(s_t,a_t)=\sum _{k=t+1}^T{\gamma }^{k-t-1}{r}_k=r_{t+1}+\gamma r_{t+2}+{\gamma }^2{r}_{t+3}+\cdots$
               ~~~~~~~~~~~~~~               策略更新： $\theta \leftarrow \theta +\alpha {\nabla }_{\theta }\ln \pi (a_t|s_t,\theta )q_t(s_t,a_t)$

9.5 总结

梯度在不同情况下的表达式是相似的。

9.6 Q & A

策略梯度方法的基本思想： 即定义合适的标量指标，推导其梯度，然后使用梯度上升方法对指标进行优化。

策略梯度方法常见指标： ${\bar{v}}_{\pi }$， ${\bar{v}}_{\pi }^0$， ${\bar{r}}_{\pi }$

策略梯度里包含自然对数的原因： 引入自然对数函数，将梯度表示为期望值。通过这种方式，我们可以用随机梯度近似真实的梯度。