【强化学习的数学原理】第四课：值迭代与策略迭代

【Value iteration algorithm（值迭代算法）】

$$v_{k+1}=f\left(v_k\right)=\underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_k\right),k=1,2,3\dots$$

• 第一步（policy update）：当 $v_k$ 给出的时候解决 ${\pi }_{k+1}$
  $${\pi }_{k+1}=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_k\right)$$

• 第二步（value update）：利用当前的 ${\pi }_{k+1}$ 解决 $v_{k+1}$
  $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

问题：$v_k$ 是不是state value?

回答：不是 $v_k=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$ 这个公式才是贝尔曼公式是state value，但这里只是一个值用来进行迭代趋近的

✨policy update：

$${\pi }_{k+1}=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_k\right)$$

$${\pi }_{k+1}(s)=\arg \underset{\pi }{\max }\sum _a\pi (a\mid s)\underset{q_k(s,a)}{\underbrace{\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_k\left(s^{\prime }\right)\right)}},s\in \mathcal{S}$$

$a_k^{\ast }(s)=\arg {\max }_a{q}_k(a,s)$时其最优解为：
$${\pi }_{k+1}(a\mid s)=\{\begin{array}{cc}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$
由于它只选择最优的q-value所以 ${\pi }_{k+1}$ 叫贪婪策略

✨value update：

$$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

$$v_{k+1}(s)=\sum _a{\pi }_{k+1}(a\mid s)\underset{q_k(s,a)}{\underbrace{\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_k\left(s^{\prime }\right)\right)}},s\in \mathcal{S}$$

由于 ${\pi }_{k+1}$ 为贪婪策略，所以 $v_{k+1}(s)={\max }_a{q}_k(a,s)$

✨Value iteration algorithm伪代码：

$$v_k(s)\to q_k(s,a)\to \text{ greedy policy }{\pi }_{k+1}(a\mid s)\to \text{ new value }{v}_{k+1}=\underset{a}{\max }{q}_k(s,a)$$

伪代码：

• 初始化：对所有的 $(s,a)$ 有 $p(r\mid s,a)$ 和 $p\left(s^{\prime }\mid s,a\right)$
• 目标：寻找最优的 state value 和 policy value 来解决贝尔曼最优公式
• 过程：假设$\Vert v_k-v_{k-1}\Vert$未小于最小值
  • 遍历所有的状态$s$，对于每个状态$s\in \mathcal{S}$
    • 对于每个动作$a\in \mathcal{A}(s)$，计算q-value：$q_k(s,a)={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_k\left(s^{\prime }\right)$
    • 选择最大的action value：$a_k^{\ast }(s)=\arg {\max }_a{q}_k(a,s)$
    • policy update：${\pi }_{k+1}(a\mid s)=1$ if $a=a_k^{\ast }$, and ${\pi }_{k+1}(a\mid s)=0$
    • value update：$v_{k+1}(s)={\max }_a{q}_k(a,s)$

理解：首先对每个状态计算q-value，之后选择最大的action value表明我知道了如何行动。然后更新policy 再之后更新 value 然后一直重复直到找到最优解 。

✨例子：

$r_{\text{boundary }}=r_{\text{forbidden }}=-1,r_{\text{target }}=1,\gamma =0.9$

1. 

2. 

3. 

4. 

【Policy iteration algorithm（策略迭代算法）】

$${\pi }_0\stackrel{PE}{⟶}{v}_{{\pi }_0}\stackrel{PI}{⟶}{\pi }_1\stackrel{PE}{⟶}{v}_{{\pi }_1}\stackrel{PI}{⟶}{\pi }_2\stackrel{PE}{⟶}{v}_{{\pi }_2}\stackrel{PI}{⟶}\dots$$

• 初始化：随机给个策略 ${\pi }_0$

• 第一步（policy evaluation）：求解贝尔曼公式得到state value看策略如何
  $$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$$

• 第二步（policy improvement）：通过优化改变其策略为 ${\pi }_{k+1}$
  $${\pi }_{k+1}=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k}\right)$$

✨policy evaluation：

$$v_{{\pi }_k}^{(j+1)}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}^{(j)},j=0,1,2,\dots$$

$$v_{{\pi }_k}^{(j+1)}(s)=\sum _a{\pi }_k(a\mid s)\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{{\pi }_k}^{(j)}\left(s^{\prime }\right)\right),s\in \mathcal{S}$$

✨policy improvement：

$${\pi }_{k+1}=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k}\right)$$

$${\pi }_{k+1}(s)=\arg \underset{\pi }{\max }\sum _a\pi (a\mid s)\underset{q_{{\pi }_k}(s,a)}{\underbrace{\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{{\pi }_k}\left(s^{\prime }\right)\right)}},s\in \mathcal{S}\text{. }$$

$q_{{\pi }_k}(s,a)$是策略 ${\pi }_k$ 下的 action value：
$$a_k^{\ast }(s)=\arg \underset{a}{\max }{q}_{{\pi }_k}(a,s)$$
其贪婪策略是：
$${\pi }_{k+1}(a\mid s)=\{\begin{array}{cl}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$

✨Policy iteration algorithm伪代码：

• 初始化：对所有的 $(s,a)$ 有 $p(r\mid s,a)$ 和 $p\left(s^{\prime }\mid s,a\right)$，初始化${\pi }_0$
• 目标：寻找最优的state value 和 optimal policy
• 假设policy还没收敛，对于第k次：
  • policy evaluation：
    • 给定初始猜测$v_{{\pi }_k}^{(0)}$
    • 对于每个状态$s\in \mathcal{S}$，$v_{{\pi }_k}^{(j+1)}(s)={\sum }_a{\pi }_k(a\mid s)\left[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{{\pi }_k}^{(j)}\left(s^{\prime }\right)\right]$
  • policy improvement：
    • 遍历每个状态$s\in \mathcal{S}$
      • 遍历每个action，$a\in \mathcal{A}(s)$：$q_{{\pi }_k}(s,a)={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{{\pi }_k}\left(s^{\prime }\right)$
      • 选择最大的$a_k^{\ast }(s)=\arg {\max }_a{q}_{{\pi }_k}(s,a)$
      • ${\pi }_{k+1}(a\mid s)=1$ if $a=a_k^{\ast }$, and ${\pi }_{k+1}(a\mid s)=0$

✨例子：

$r_{\text{boundary }}=-1,r_{\text{target }}=1,\gamma =0.9$

• actions：$a_{\ell },a_0,a_r$分别表示向左、原地、向右

• 目标：寻找最优policy

• 

• 

【Truncated policy iteration algorithm（截断策略迭代算法）】

✨value iteration 和 policy iteration比较：

policy iteration：

Policy iteration: ${\pi }_0\stackrel{PE}{⟶}{v}_{{\pi }_0}\stackrel{PI}{⟶}{\pi }_1\stackrel{PE}{⟶}{v}_{{\pi }_1}\stackrel{PI}{⟶}{\pi }_2\stackrel{PE}{⟶}{v}_{{\pi }_2}\stackrel{PI}{⟶}\dots$

• policy evaluation(PE)：
  $$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$$

• policy improvement(PI)：
  $${\pi }_{k+1}=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k}\right)$$

value iteration：

Value iteration: $u_0\stackrel{PU}{⟶}{\pi }_1^{\prime }\stackrel{VU}{⟶}{u}_1\stackrel{PU}{⟶}{\pi }_2^{\prime }\stackrel{VU}{⟶}{u}_2\stackrel{PU}{⟶}\dots$

• policy update(PU)：
  $${\pi }_{k+1}=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_k\right)$$

• value update(VU)：
  $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$

• 如图所示其前三部都是一样的。

• 第四步不一样：

  

  • policy iteration：$v_{{\pi }_1}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}$，需要进行内部迭代计算（贝尔曼公式迭代算法）
    $$\begin{array}{rl}& v_{{\pi }_1}^{(0)}=v_0\\ & v_{{\pi }_1}^{(1)}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(0)}\\ & v_{{\pi }_1}^{(2)}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(1)}\\ & ⋮\\ & v_{{\pi }_1}^{(j)}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(j-1)}\\ & ⋮\\ & v_{{\pi }_1}^{(\infty )}=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_{{\pi }_1}^{(\infty )}\end{array}$$

  • value iteration：$v_1=r_{{\pi }_1}+\gamma P_{{\pi }_1}{v}_0$，只需要进行一部（正常计算）

    

✨Truncated policy iteration伪代码：

• 初始化：对所有的 $(s,a)$ 有 $p(r\mid s,a)$ 和 $p\left(s^{\prime }\mid s,a\right)$，初始化${\pi }_0$
• 目标：寻找最优的state value 和 optimal policy
• 假设policy还没收敛，对于第k次：
  • policy evaluation：
    • 初始化：$v_k^{(0)}=v_{k-1}$，最大迭代次数为$j_{truncate}$
    • 当 $j<j_{truncate}$
      • 对每个状态 $s\in \mathcal{S}$：$v_k^{(j+1)}(s)={\sum }_a{\pi }_k(a\mid s)\left[{\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_k^{(j)}\left(s^{\prime }\right)\right]$
    • 设$v_k=v_k^{\left(j_{\text{truncate }}\right)}$
  • policy improvement：
    • 对每个状态 $s\in \mathcal{S}$
      • 对每个action $a\in \mathcal{A}(s)$：$q_k(s,a)={\sum }_{r}p(r\mid s,a)r+\gamma {\sum }_{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_k\left(s^{\prime }\right)$
      • $a_k^{\ast }(s)=\arg {\max }_a{q}_k(s,a)$
      • ${\pi }_{k+1}(a\mid s)=1$ if $a=a_k^{\ast }$, 并且${\pi }_{k+1}(a\mid s)=0$

通过这个图能看出来三种的效果