【强化学习的数学原理】第三课：贝尔曼最优公式

• 两个概念：最优状态值，最优策略
• 一个工具：贝尔曼最优公式（BOE）

【例子-如何改进策略】

贝尔曼等式：
$$\begin{array}{rl}& v_{\pi }\left(s_1\right)=-1+\gamma v_{\pi }\left(s_2\right),\\ & v_{\pi }\left(s_2\right)=+1+\gamma v_{\pi }\left(s_4\right),\\ & v_{\pi }\left(s_3\right)=+1+\gamma v_{\pi }\left(s_4\right),\\ & v_{\pi }\left(s_4\right)=+1+\gamma v_{\pi }\left(s_4\right).\end{array}$$
假设$\gamma =0.9$，我们能够计算得到$v_{\pi }\left(s_4\right)=v_{\pi }\left(s_3\right)=v_{\pi }\left(s_2\right)=10,v_{\pi }\left(s_1\right)=8$

我们计算$s_1$的action value：
$$\begin{array}{rl}& q_{\pi }\left(s_1,a_1\right)=-1+\gamma v_{\pi }\left(s_1\right)=6.2,\\ & q_{\pi }\left(s_1,a_2\right)=-1+\gamma v_{\pi }\left(s_2\right)=8,\\ & q_{\pi }\left(s_1,a_3\right)=0+\gamma v_{\pi }\left(s_3\right)=9,\\ & q_{\pi }\left(s_1,a_4\right)=-1+\gamma v_{\pi }\left(s_1\right)=6.2,\\ & q_{\pi }\left(s_1,a_5\right)=0+\gamma v_{\pi }\left(s_1\right)=\mathrm{7.2.}\end{array}$$

问题：当前策略不太好，我们如何进行改进？

回答：使用action value，当前策略如下：
$$\pi \left(a\mid s_1\right)=\{\begin{array}{ll}1& a=a_2\\ 0& a\ne a_2\end{array}$$
计算action value：
$$\begin{array}{rl}& q_{\pi }\left(s_1,a_1\right)=6.2,q_{\pi }\left(s_1,a_2\right)=8,q_{\pi }\left(s_1,a_3\right)=9\\ & q_{\pi }\left(s_1,a_4\right)=6.2,q_{\pi }\left(s_1,a_5\right)=\mathrm{7.2.}\end{array}$$
如果我们选择最大的action value（$a^{\ast }=\arg {\max }_a{q}_{\pi }\left(s_1,a\right)=a_3$），一个新的政策如下（往下走）：
$${\pi }_{\text{new }}\left(a\mid s_1\right)=\{\begin{array}{ll}1& a=a^{\ast }\\ 0& a\ne a^{\ast }\end{array}$$
发现确实使用$a_3$策略的时候效果更好

【最优策略的定义】

state value能够用来衡量一个策略是好还是不好，如果满足下面式子，则表明${\pi }_1$比${\pi }_2$好
$$v_{{\pi }_1}(s)\ge v_{{\pi }_2}(s)\text{ for all }s\in \mathcal{S}$$

✨定义：

一个策略${\pi }^{\ast }$是最优的：对于所有 $s$ 和所有其他策略 $\pi$ 的情况下 $v_{{\pi }^{\ast }}(s)\ge v_{\pi }(s)$

【贝尔曼最优公式（BOE）】

贝尔曼公式：
$$v(s)=\sum _a\pi (a\mid s)\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v\left(s^{\prime }\right)\right),\forall s\in \mathcal{S}$$
贝尔曼最优公式：在 $\pi$ 前面加上了 ${\max }_{\pi }$，嵌套了一个优化问题
$$\begin{array}{rl}v(s)& =\underset{\pi }{\max }\sum _a\pi (a\mid s)\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v\left(s^{\prime }\right)\right),\forall s\in \mathcal{S}\\ & =\underset{\pi }{\max }\sum _a\pi (a\mid s)q(s,a)s\in \mathcal{S}\end{array}$$

• $p(r\mid s,a),p\left(s^{\prime }\mid s,a\right)$：知道
• $v(s),v\left(s^{\prime }\right)$：不知道需要计算的

矩阵向量形式：
$$v=\underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }v\right)$$

✨BOE公式右边最优问题：

$$\begin{array}{rl}v(s)& =\underset{\pi }{\max }\sum _a\pi (a\mid s)\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v\left(s^{\prime }\right)\right),\forall s\in \mathcal{S}\\ & =\underset{\pi }{\max }\sum _a\pi (a\mid s)q(s,a)\end{array}$$

求解：假设已知 $q_1,q_2,q_3,\in \mathbb{R}$，寻找 $c_1^{\ast },c_2^{\ast },c_3^{\ast }$ 计算：
$$\underset{c_1,c_2,c_3}{\max }{c}_1{q}_1+c_2{q}_2+c_3{q}_3$$

• $c_1+c_2+c_3=1$，且 $c_1,c_2,c_3\ge 0$（对应概率）

假设$q_3\ge q_1,q_2$（$q_3$ return 最大），则最优解为$c_3^{\ast }=1$, 并且 $c_1^{\ast }=c_2^{\ast }=0$

• 直观解释：当 $q_3$ 最大则应该将权重都放到 $q_3$ 上，总的和最大
• 数学上解释：$q_3=\left(c_1+c_2+c_3\right)q_3=c_1{q}_3+c_2{q}_3+c_3{q}_3\ge c_1{q}_1+c_2{q}_2+c_3{q}_3$

所以由于${\sum }_a\pi (a\mid s)=1$，就得到如下等式，其中 $a^{\ast }=\arg {\max }_{a}q(s,a)$.：
$$\underset{\pi }{\max }\sum _a\pi (a\mid s)q(s,a)=\underset{a\in \mathcal{A}(s)}{\max }q(s,a)$$

$$\pi (a\mid s)=\{\begin{array}{ll}1& a=a^{\ast }\\ 0& a\ne a^{\ast }\end{array}$$

✨贝尔曼最优公式重写：

$$f(v):=\underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }v\right)$$

于是贝尔曼最优公式转变为：$v=f(v)$
$$[f(v){]}_s=\underset{\pi }{\max }\sum _a\pi (a\mid s)q(s,a),s\in \mathcal{S}$$

✨压缩映射定理（巴纳赫不动点定理）：

【概念】

• Fixed point（不动点）：$x\in X$ 是 $f$ 一个不动点，有一个函数$f:X\to X$有：$f(x)=x$

• Contraction mapping（收缩映射）：$f$ 是个函数

  

  $$\Vert f\left(x_1\right)-f\left(x_2\right)\Vert \le \gamma \Vert x_1-x_2\Vert$$

  • $\gamma \in (0,1)$
  • $\Vert \cdot \Vert$：可以为任何向量范围

【例子1】

$$x=f(x)=0.5x,x\in \mathbb{R}.$$

• $x=0$：是一个不动点
• $f(x)$：也是一个收缩映射，$\Vert 0.5x_1-0.5x_2\Vert =0.5\Vert x_1-x_2\Vert \le \gamma \Vert x_1-x_2\Vert$ 对于 $\gamma \in [0.5,1)$

【例子2（向量形式）】

$$x=f(x)=Ax\text{, where }x\in {\mathbb{R}}^n,A\in {\mathbb{R}}^{n\times n}\text{ and }\Vert A\Vert \le \gamma <1\text{. }$$

• $x=0$：也是一个不动点$0=A0$
• $f(x)$：也是一个收缩映射，$\Vert A{x}_1-A{x}_2\Vert =\Vert A\left(x_1-x_2\right)\Vert \le \Vert A\Vert \Vert x_1-x_2\Vert \le \gamma \Vert x_1-x_2\Vert$

【压缩映射定理】

对于等式$x=f(x)$，如果他是一个Contraction mapping

• 存在：存在固定点 $f\left(x^{\ast }\right)=x^{\ast }$
• 唯一：这个固定的唯一存在
• 计算方式：序列 { x k } \left\{x_k\right\} {xk​} 使用式子 $x_{k+1}=f\left(x_k\right)$，当 $k\to \infty$时候 $x_k\to x^{\ast }$

✨贝尔曼最优公式解：

由于贝尔曼最优公式属于一个Contraction mapping，所以可以使用Contraction mapping theorem进行计算。
$$v_{k+1}=f\left(v_k\right)=\underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}_k\right)$$

$$\begin{array}{rl}{v}_{k+1}(s)& =\underset{\pi }{\max }\sum _a\pi (a\mid s)\left(\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_k\left(s^{\prime }\right)\right)\\ & =\underset{\pi }{\max }\sum _a\pi (a\mid s)q_k(s,a)\\ & =\underset{a}{\max }{q}_k(s,a)\end{array}$$

【过程总结(值迭代算法)】

1. 首先对某个状态s，有个估计$v_k(s)$

2. 对于任意的action，$a\in \mathcal{A}(s)$，计算
   $$q_k(s,a)=\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_k\left(s^{\prime }\right)$$

3. 计算最好的策略${\pi }_{k+1}$，其中 $a_k^{\ast }(s)=\arg {\max }_a{q}_k(s,a)$.
   $${\pi }_{k+1}(a\mid s)=\{\begin{array}{cc}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$

4. $$v_{k+1}(s)=\underset{a}{\max }{q}_k(s,a)$$

✨贝尔曼最优公式解的最优性：

假设$v^{\ast }$是贝尔曼最优公式的解，${\pi }^{\ast }$是对于$v^{\ast }$的最优策略
$$\begin{array}{rl}& v^{\ast }=\underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}^{\ast }\right)\\ & {\pi }^{\ast }=\arg \underset{\pi }{\max }\left(r_{\pi }+\gamma P_{\pi }{v}^{\ast }\right)\\ & v^{\ast }=r_{{\pi }^{\ast }}+\gamma P_{{\pi }^{\ast }}{v}^{\ast }\end{array}$$
${\pi }^{\ast }$：
$${\pi }^{\ast }(a\mid s)=\{\begin{array}{ll}1& a=a^{\ast }(s)\\ 0& a\ne a^{\ast }(s)\end{array}$$

【分析最优策略】

用这些红色的量将这些黑的量求出来

• 奖励设计：$r$
• 模型：$p\left(s^{\prime }\mid s,a\right),p(r\mid s,a)$
• $\gamma$设计：$\gamma$
• $v(s),v\left(s^{\prime }\right),\pi (a\mid s)$求解的

✨$\gamma$选择问题：

$\gamma$大远视，$\gamma$小近视

✨$r$选择问题：

问题：$r\to ar+b?$会不会有所改变
$$r_{\text{boundary }}=r_{\text{forbidden }}=-1,r_{\text{target }}=1,r_{\text{otherstep }}=0$$

$$r_{\text{boundary }}=r_{\text{forbidden }}=0,r_{\text{target }}=2,r_{\text{otherstep }}=1$$

回答：不会有改变，主要在于action value的相对值而不是绝对值

✨无意义的绕道：

问题：因为从一个到另外一个白格子不会有惩罚所以会不会有无意义的绕道问题？

回答：不会，因为到达中点慢了获得的奖励就少了

Policy $(\mathrm{a}):$ return $=1+\gamma 1+{\gamma }^{2}1+\cdots =1/(1-\gamma )=10$
Policy $(b):$ return $=0+\gamma 0+{\gamma }^{2}1+{\gamma }^{3}1+\cdots ={\gamma }^2/(1-\gamma )=8.1$

我们常常想的是每走一步无用的路就给个惩罚，但是同样如果不给惩罚它自己到达终点慢了那么得到的终点的奖励也就少了他就会自己找进路走，所里两者是等价的