【强化学习的数学原理】第九课：梯度策略

value-based methods -> policy-based methods

value function approximation -> policy function approximation

【policy 梯度思想】

原本的策略表示：

现在的策略：
$$\pi (a\mid s,\theta )$$
其中$\theta \in {\mathbb{R}}^m$是参数向量，原本是通过查表得形式得到策略，现在需要传播计算一次才能得到是多少

【Metric最优策略】

• average state value：
  $${\bar{v}}_{\pi }=\sum _{s\in \mathcal{S}}d(s)v_{\pi }(s)=\mathbb{E}\left[\sum _{t=0}^{\infty }{\gamma }^t{R}_{t+1}\right]$$

  • ${\bar{v}}_{\pi }$：是state value的加权平均

  • $d(s)\ge 0$：状态$s$的权重

  • ${\sum }_{s\in \mathcal{S}}d(s)=1$也是状态$s$被选中的概率
    $${\bar{v}}_{\pi }=\mathbb{E}\left[v_{\pi }(S)\right]$$

    $${\bar{v}}_{\pi }=\sum _{s\in \mathcal{S}}d(s)v_{\pi }(s)=d^T{v}_{\pi }$$

    • 其中$\begin{array}{rl}{v}_{\pi }& ={\left[\dots ,v_{\pi }(s),\dots \right]}^T\in {\mathbb{R}}^{|\mathcal{S}|}\\ d& ={\left[\dots ,d^{(s)},\dots \right]}^T\in {\mathbb{R}}^{|\mathcal{S}|}\end{array}$

  • 如何选择$d$：

    • $d$和$\pi$ 没有关系：$d$ 变 $d_0$ 并且 ${\bar{v}}_{\pi }$ 变 ${\bar{v}}_{\pi }^0$.，
      • 每个状态的权重相同的（均匀分布），$d_0(s)=1/|\mathcal{S}|$
      • 对于某些状态偏好，极端下$d_0\left(s_0\right)=1,d_0\left(s\ne s_0\right)=0$
    • $d$和$\pi$ 有关系：根据测量不断与环境交互，可以预测在某个状态下平稳多少

    $$d_{\pi }^T{P}_{\pi }=d_{\pi }^T$$

• average one-step reward：
  $${\bar{r}}_{\pi }\doteq \sum _{s\in \mathcal{S}}{d}_{\pi }(s)r_{\pi }(s)=\mathbb{E}\left[r_{\pi }(S)\right]$$

  • $r_{\pi }(s)\doteq {\sum }_{a\in \mathcal{A}}\pi (a\mid s)r(s,a)$ 是从状态 $s$ 开始的一步立即奖励均值

    • $r(s,a)=\mathbb{E}[R\mid s,a]={\sum }_{r}rp(r\mid s,a)$

      

    $$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}\left[\sum _{k=1}^n{R}_{t+k}\mid S_t=s_0\right]& =\underset{n\to \infty }{\lim }\frac{1}{n}\mathbb{E}\left[\sum _{k=1}^n{R}_{t+k}\right]\\ & =\sum _s{d}_{\pi }(s)r_{\pi }(s)\\ & ={\bar{r}}_{\pi }\end{array}$$

metrics 1：

• 所有metrics关于策略的函数
• 策略是函数，参数是$\theta$，所以上面所述都是$\theta$的函数
• 所以希望找到最优的$\theta$最大化metrics

metrics 2：

• discount rate $\gamma \in [0,1)$ 或者 undiscounted case $\gamma =1$

metrics 3：
$${\bar{r}}_{\pi }=(1-\gamma ){\bar{v}}_{\pi }$$
对一个做优化另一个也达到了极值

【metrics 的梯度】

梯度测量是policy gradient方法中最复杂的部分：

• 我们需要区分不同的metrics：${\bar{v}}_{\pi },{\bar{r}}_{\pi },{\bar{v}}_{\pi }^0$
• 我们需要区分discounted 和 undiscounted 情况

$${\nabla }_{\theta }J(\theta )=\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a\mid s,\theta )q_{\pi }(s,a)$$

• $J(\theta )$可以是${\bar{v}}_{\pi },{\bar{r}}_{\pi }$, ${\bar{v}}_{\pi }^0$
• "="可以是严格相等、约等、成比例等
• $\eta$ 是状态的权重

$$\begin{array}{c}{\nabla }_{\theta }{\bar{r}}_{\pi }\simeq \sum _s{d}_{\pi }(s)\sum _a{\nabla }_{\theta }\pi (a\mid s,\theta )q_{\pi }(s,a),\\ {\nabla }_{\theta }{\bar{v}}_{\pi }=\frac{1}{1-\gamma }{\nabla }_{\theta }{\bar{r}}_{\pi }\\ {\nabla }_{\theta }{\bar{v}}_{\pi }^0=\sum _{s\in \mathcal{S}}{\rho }_{\pi }(s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a\mid s,\theta )q_{\pi }(s,a)\end{array}$$

我们可以将上面的式子进行重写：
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& =\sum _{s\in \mathcal{S}}\eta (s)\sum _{a\in \mathcal{A}}{\nabla }_{\theta }\pi (a\mid s,\theta )q_{\pi }(s,a)\\ & =\mathbb{E}\left[{\nabla }_{\theta }\ln \pi (A\mid S,\theta )q_{\pi }(S,A)\right]\end{array}$$
其中$S\sim \eta$ 并且 $A\sim \pi (A\mid S,\theta )$

【梯度上升算法REINFORCE】

$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }J(\theta )\\ & ={\theta }_t+\alpha \mathbb{E}\left[{\nabla }_{\theta }\ln \pi \left(A\mid S,{\theta }_t\right)q_{\pi }(S,A)\right]\end{array}$$

环境的信息是没法全部知道的，我们用随机的梯度替代
$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)q_{\pi }\left(s_t,a_t\right)$$
$q_{\pi }$是策略$\pi$所对应的真实的action value，我们没法知道，所以我们进行近似
$${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)q_t\left(s_t,a_t\right)$$

• 蒙特卡洛方法：相结合叫做reinforce
• TD算法

我们可以将上面式子进行重写：
$$\begin{array}{rl}{\theta }_{t+1}& ={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)q_t\left(s_t,a_t\right)\\ & ={\theta }_t+\alpha \underset{{\beta }_t}{\underbrace{\left(\frac{q_t\left(s_t,a_t\right)}{\pi \left(a_t\mid s_t,{\theta }_t\right)}\right)}}{\nabla }_{\theta }\pi \left(a_t\mid s_t,{\theta }_t\right).\end{array}$$
这个时候我们发现一个有趣的现象：
$${\theta }_{t+1}={\theta }_t+\alpha {\beta }_t{\nabla }_{\theta }\pi \left(a_t\mid s_t,{\theta }_t\right)$$
当$\alpha {\beta }_t$步长不大的时候：

• ${\beta }_t>0$：梯度上升
  $${\sigma }^2=-174+10{\log }_{10}{B}_m$$

• ${\beta }_t<0$：梯度下降
  $$\pi \left(a_t\mid s_t,{\theta }_{t+1}\right)<\pi \left(a_t\mid s_t,{\theta }_t\right).$$

当${\theta }_{t+1}-{\theta }_t$的时候
$$\pi \left(a_t\mid s_t,{\theta }_{t+1}\right)\approx \pi \left(a_t\mid s_t,{\theta }_t\right)+{\left({\nabla }_{\theta }\pi \left(a_t\mid s_t,{\theta }_t\right)\right)}^T\left({\theta }_{t+1}-{\theta }_t\right)$$
${\beta }_t$能够用来平衡探索和利用

✌REINFORCE伪代码

• 对于第k个iteration
  • 我们选择一个初始的state，依据当前的策略 $\pi \left({\theta }_k\right)$ 与环境进行交互得到episode { s 0 , a 0 , r 1 , … , s T − 1 , a T − 1 , r T } \left\{s_0, a_0, r_1, \ldots, s_{T-1}, a_{T-1}, r_T\right\} {s0​,a0​,r1​,…,sT−1​,aT−1​,rT​}
  • 对其中每个元素：
    • value update：$q_t\left(s_t,a_t\right)={\sum }_{k=t+1}^T{\gamma }^{k-t-1}{r}_k$
    • policy update：$$\begin{gathered} {\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }\ln \pi \left(a_t\mid s_t,{\theta }_t\right)q_t\left(s_t,a_t\right) \\ {\theta }_k={\theta }_t \end{gathered}$$