【强化学习的数学原理】第二课：贝尔曼公式

【例子 -> return重要性】

问题：能否用数学工具描述从$s_1$出发，哪个策略是最好的？

回答：return可以评估一个策略

• 策略1：
  $$\begin{array}{rl}{\mathrm{return}}_1& =0+\gamma 1+{\gamma }^{2}1+\dots \\ & =\gamma \left(1+\gamma +{\gamma }^2+\dots \right)\\ & =\frac{\gamma }{1-\gamma }\end{array}$$

• 策略2：
  $$\begin{array}{rl}{\text{ return }}_2& =-1+\gamma 1+{\gamma }^{2}1+\dots ,\\ & =-1+\gamma \left(1+\gamma +{\gamma }^2+\dots \right),\\ & =-1+\frac{\gamma }{1-\gamma }.\end{array}$$

• 策略3：
  $$\begin{array}{rl}{\text{ return }}_3& =0.5\left(-1+\frac{\gamma }{1-\gamma }\right)+0.5\left(\frac{\gamma }{1-\gamma }\right)\\ & =-0.5+\frac{\gamma }{1-\gamma }.\end{array}$$

$${\text{ return }}_1>{\text{ return }}_3>{\text{ return }}_2$$

✨return计算

方法1：$v_i$表示从$s_i(i=1,2,3,4)$出发的return
$$\begin{array}{rl}& v_1=r_1+\gamma r_2+{\gamma }^2{r}_3+\dots \\ & v_2=r_2+\gamma r_3+{\gamma }^2{r}_4+\dots \\ & v_3=r_3+\gamma r_4+{\gamma }^2{r}_1+\dots \\ & v_4=r_4+\gamma r_1+{\gamma }^2{r}_2+\dots \end{array}$$
方法2（Bootstrapping）：表明我们从不同状态出发得到的return，依赖于从其他状态出发得到的return
$$\begin{array}{rl}& v_1=r_1+\gamma \left(r_2+\gamma r_3+\dots \right)=r_1+\gamma v_2\\ & v_2=r_2+\gamma \left(r_3+\gamma r_4+\dots \right)=r_2+\gamma v_3\\ & v_3=r_3+\gamma \left(r_4+\gamma r_1+\dots \right)=r_3+\gamma v_4\\ & v_4=r_4+\gamma \left(r_1+\gamma r_2+\dots \right)=r_4+\gamma v_1\end{array}$$

$$\underset{\mathbf{v}}{\underbrace{\left[\begin{array}{l}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]}}=\left[\begin{array}{l}{r}_1\\ r_2\\ r_3\\ r_4\end{array}\right]+\left[\begin{array}{l}\gamma v_2\\ \gamma v_3\\ \gamma v_4\\ \gamma v_1\end{array}\right]=\underset{\mathbf{r}}{\underbrace{\left[\begin{array}{l}{r}_1\\ r_2\\ r_3\\ r_4\end{array}\right]}}+\gamma \underset{\mathbf{P}}{\underbrace{\left[\begin{array}{llll}0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\end{array}\right]}}\underset{\mathbf{v}}{\underbrace{\left[\begin{array}{l}{v}_1\\ v_2\\ v_3\\ v_4\end{array}\right]}}$$

$$\mathbf{v}=\mathbf{r}+\gamma \mathbf{Pv}$$

• 这个公式就是贝尔曼公式（针对这个特定的问题）
• 说明我一个状态的值依赖于其他状态的值
• 矩阵形式如何求解

【状态值（state value）】

✨单步过程

$$S_t\stackrel{A_t}{⟶}{R}_{t+1},S_{t+1}$$

• $t,t+1$：离散时间实例
• $S_t$：时间 $t$ 的状态
• $A_t$：在状态$S_t$做的动作
• $R_{t+1}$：在行为$A_t$后获得的奖励
• $S_{t+1}$：执行动作$A_t$后的下一个状态

每一步受下列概率分布的制约：

• $S_t\to A_t$：$\pi \left(A_t=a\mid S_t=s\right)$
• $S_t,A_t\to R_{t+1}$：reward probability $p\left(R_{t+1}=r\mid S_t=s,A_t=a\right)$
• $S_t,A_t\to S_{t+1}$：state transition probability $p\left(S_{t+1}=s^{\prime }\mid S_t=s,A_t=a\right)$

✨多步过程

$$S_t\stackrel{A_t}{⟶}{R}_{t+1},S_{t+1}\stackrel{A_{t+1}}{⟶}{R}_{t+2},S_{t+2}\stackrel{A_{t+2}}{⟶}{R}_{t+3},\dots$$

• discounted return：$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots$

✨状态值

$G_t$是对一个 trajectory 的 discounted return ，state value 是对 $G_t$ 的一个期望值
$$v_{\pi }(s)=\mathbb{E}\left[G_t\mid S_t=s\right]$$

• $v_{\pi }(s)$ 是从 $s$ 出发，从不同的轨迹出发其 $G_t$ 也是不同的
• $v_{\pi }(s)$ 是依赖于不同的 $\pi$ 的，从不同的策略走其轨迹不同其 $G_t$ 也是不同的
• state value 不仅仅是数值而且是价值，价值越大得到更多的return

问题：return 和 state value 有什么不同

回答：

• return 是针对单个 trajectory 得到的 return

• state value 是对多个 trajectory 得到return 再求平均值

  加入从一个状态出发会有多个trajectory 那么这两个是显然有区别的；加入从一个状态出发只有一个trajectory 那么这两个是一样的

【贝尔曼公式推导】

✨定义：

它描述了不同状态的state value之间的关系

✨推导：

对于随机的一个trajectory ：
$$S_t\stackrel{A_t}{⟶}{R}_{t+1},S_{t+1}\stackrel{A_{t+1}}{⟶}{R}_{t+2},S_{t+2}\stackrel{A_{t+2}}{⟶}{R}_{t+3},\dots$$
其return $G_t$是：
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots ,\\ & =R_{t+1}+\gamma \left(R_{t+2}+\gamma R_{t+3}+\dots \right),\\ & =R_{t+1}+\gamma G_{t+1},\end{array}$$
其state value是：
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}\left[G_t\mid S_t=s\right]\\ & =\mathbb{E}\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s\right]\\ & =\mathbb{E}\left[R_{t+1}\mid S_t=s\right]+\gamma \mathbb{E}\left[G_{t+1}\mid S_t=s\right]\end{array}$$
我们分别分析其两个均值：

• 对于第一个 $\mathbb{E}\left[R_{t+1}\mid S_t=s\right]:$
  $$\begin{array}{rl}\mathbb{E}\left[R_{t+1}\mid S_t=s\right]& =\sum _a\pi (a\mid s)\mathbb{E}\left[R_{t+1}\mid S_t=s,A_t=a\right]\\ & =\sum _a\pi (a\mid s)\sum _{r}p(r\mid s,a)r\end{array}$$

• 对于第二个 $\mathbb{E}\left[G_{t+1}\mid S_t=s\right]:$它是未来奖励的均值
  $$\begin{array}{rl}\mathbb{E}\left[G_{t+1}\mid S_t=s\right]& =\sum _{s^{\prime }}\mathbb{E}\left[G_{t+1}\mid S_t=s,S_{t+1}=s^{\prime }\right]p\left(s^{\prime }\mid s\right)\\ & =\sum _{s^{\prime }}\mathbb{E}\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]p\left(s^{\prime }\mid s\right)\\ & =\sum _{s^{\prime }}{v}_{\pi }\left(s^{\prime }\right)p\left(s^{\prime }\mid s\right)\\ & =\sum _{s^{\prime }}{v}_{\pi }\left(s^{\prime }\right)\sum _{a}p\left(s^{\prime }\mid s,a\right)\pi (a\mid s)\end{array}$$

贝尔曼公示的表达式：该式子对应于状态空间所有的状态都成立
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}\left[R_{t+1}\mid S_t=s\right]+\gamma \mathbb{E}\left[G_{t+1}\mid S_t=s\right],\\ & =\underset{\text{mean of immediate rewards }}{\underbrace{\sum _a\pi (a\mid s)\sum _{r}p(r\mid s,a)r}}+\underset{\text{mean of future rewards }}{\underbrace{\gamma \sum _a\pi (a\mid s)\sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right),}}\\ & =\sum _a\pi (a\mid s)\left[\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\right],\forall s\in \mathcal{S}.\end{array}$$

✨例子1：

我们将这个图中所有的贝尔曼公式写出来：

$s1$：
$$\begin{array}{rl}& \pi \left(a=a_3\mid s_1\right)=1\text{ and }\pi \left(a\ne a_3\mid s_1\right)=0.\\ & p\left(s^{\prime }=s_3\mid s_1,a_3\right)=1\text{ and }p\left(s^{\prime }\ne s_3\mid s_1,a_3\right)=0.\\ & p\left(r=0\mid s_1,a_3\right)=1\text{ and }p\left(r\ne 0\mid s_1,a_3\right)=0.\end{array}$$

$$v_{\pi }\left(s_1\right)=0+\gamma v_{\pi }\left(s_3\right)$$
同理得到：
$$\begin{array}{rl}& v_{\pi }\left(s_1\right)=0+\gamma v_{\pi }\left(s_3\right),\\ & v_{\pi }\left(s_2\right)=1+\gamma v_{\pi }\left(s_4\right)\\ & v_{\pi }\left(s_3\right)=1+\gamma v_{\pi }\left(s_4\right)\\ & v_{\pi }\left(s_4\right)=1+\gamma v_{\pi }\left(s_4\right).\end{array}$$
通过求解得到：
$$\begin{array}{rl}& v_{\pi }\left(s_4\right)=\frac{1}{1-\gamma },\\ & v_{\pi }\left(s_3\right)=\frac{1}{1-\gamma },\\ & v_{\pi }\left(s_2\right)=\frac{1}{1-\gamma },\\ & v_{\pi }\left(s_1\right)=\frac{\gamma }{1-\gamma }.\end{array}$$
假设$\gamma =0.9$得到：
$$\begin{array}{rl}& v_{\pi }\left(s_4\right)=\frac{1}{1-0.9}=10\\ & v_{\pi }\left(s_3\right)=\frac{1}{1-0.9}=10\\ & v_{\pi }\left(s_2\right)=\frac{1}{1-0.9}=10\\ & v_{\pi }\left(s_1\right)=\frac{0.9}{1-0.9}=9\end{array}$$

假设一个状态价值高则说明有价值

✨例子2：

其贝尔曼公式：
$$\begin{array}{rl}& v_{\pi }\left(s_1\right)=0.5\left[0+\gamma v_{\pi }\left(s_3\right)\right]+0.5\left[-1+\gamma v_{\pi }\left(s_2\right)\right],\\ & v_{\pi }\left(s_2\right)=1+\gamma v_{\pi }\left(s_4\right),\\ & v_{\pi }\left(s_3\right)=1+\gamma v_{\pi }\left(s_4\right),\\ & v_{\pi }\left(s_4\right)=1+\gamma v_{\pi }\left(s_4\right).\end{array}$$
对其求解：
$$\begin{array}{rl}{v}_{\pi }\left(s_4\right)& =\frac{1}{1-\gamma },v_{\pi }\left(s_3\right)=\frac{1}{1-\gamma },v_{\pi }\left(s_2\right)=\frac{1}{1-\gamma }\\ v_{\pi }\left(s_1\right)& =0.5\left[0+\gamma v_{\pi }\left(s_3\right)\right]+0.5\left[-1+\gamma v_{\pi }\left(s_2\right)\right]\\ & =-0.5+\frac{\gamma }{1-\gamma }.\end{array}$$
假设$\gamma =0.9$得到：
$$v_{\pi }\left(s_4\right)=10,v_{\pi }\left(s_3\right)=10,v_{\pi }\left(s_2\right)=10,v_{\pi }\left(s_1\right)=-0.5+9=\mathrm{8.5.}$$
通过观察发现其$s1$ 的 state value 是8.5没有刚才那个策略好

【贝尔曼公式矩阵向量形式】

$$v_{\pi }(s)=\sum _a\pi (a\mid s)\left[\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\right]$$
对贝尔曼公式进行重写得到：
$$v_{\pi }(s)=r_{\pi }(s)+\gamma \sum _{s^{\prime }}{p}_{\pi }\left(s^{\prime }\mid s\right)v_{\pi }\left(s^{\prime }\right)$$

• $r_{\pi }(s)\triangleq {\sum }_a\pi (a\mid s){\sum }_{r}p(r\mid s,a)r$ ：为立即奖励的平均值
• $p_{\pi }\left(s^{\prime }\mid s\right)\triangleq {\sum }_a\pi (a\mid s)p\left(s^{\prime }\mid s,a\right)$ ：为从 $s$ 转到 $s^{\prime }$ 的概率

对状态从$s_i(i=1,\dots ,n)$，则贝尔曼公式为：
$$v_{\pi }\left(s_i\right)=r_{\pi }\left(s_i\right)+\gamma \sum _{s_j}{p}_{\pi }\left(s_j\mid s_i\right)v_{\pi }\left(s_j\right)$$
转为矩阵向量形式：
$$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$$

• $v_{\pi }={\left[v_{\pi }\left(s_1\right),\dots ,v_{\pi }\left(s_n\right)\right]}^T\in {\mathbb{R}}^n$

• $r_{\pi }={\left[r_{\pi }\left(s_1\right),\dots ,r_{\pi }\left(s_n\right)\right]}^T\in {\mathbb{R}}^n$

• $P_{\pi }\in {\mathbb{R}}^{n\times n}$, 其中${\left[P_{\pi }\right]}_{ij}=p_{\pi }\left(s_j\mid s_i\right)$为状态转移矩阵

  假如有四个状态$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$可以写成：
  $$\underset{v_{\pi }}{\underbrace{\left[\begin{array}{l}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]}}=\underset{r_{\pi }}{\underbrace{\left[\begin{array}{l}{r}_{\pi }\left(s_1\right)\\ r_{\pi }\left(s_2\right)\\ r_{\pi }\left(s_3\right)\\ r_{\pi }\left(s_4\right)\end{array}\right]}}+\gamma \underset{P_{\pi }}{\underbrace{\left[\begin{array}{llll}{p}_{\pi }\left(s_1\mid s_1\right)& p_{\pi }\left(s_2\mid s_1\right)& p_{\pi }\left(s_3\mid s_1\right)& p_{\pi }\left(s_4\mid s_1\right)\\ p_{\pi }\left(s_1\mid s_2\right)& p_{\pi }\left(s_2\mid s_2\right)& p_{\pi }\left(s_3\mid s_2\right)& p_{\pi }\left(s_4\mid s_2\right)\\ p_{\pi }\left(s_1\mid s_3\right)& p_{\pi }\left(s_2\mid s_3\right)& p_{\pi }\left(s_3\mid s_3\right)& p_{\pi }\left(s_4\mid s_3\right)\\ p_{\pi }\left(s_1\mid s_4\right)& p_{\pi }\left(s_2\mid s_4\right)& p_{\pi }\left(s_3\mid s_4\right)& p_{\pi }\left(s_4\mid s_4\right)\end{array}\right]}}\underset{v_{\pi }}{\underbrace{\left[\begin{array}{l}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]}}$$

✨例子1：

$$\left[\begin{array}{l}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]=\left[\begin{array}{l}0\\ 1\\ 1\\ 1\end{array}\right]+\gamma \left[\begin{array}{llll}0& 0& 1& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 1\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{l}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]$$

✨例子2：

$$\left[\begin{array}{c}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]=\left[\begin{array}{c}0.5(0)+0.5(-1)\\ 1\\ 1\\ 1\end{array}\right]+\gamma \left[\begin{array}{cccc}0& 0.5& 0.5& 0\\ 0& 0& 0& 1\\ 0& 0& 0& 1\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]$$

【贝尔曼公式求解状态值】

策略评估：是强化学习中非常关键的工具，我们只有评价一个策略好不好才能进一步改进找到最优的策略
$$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$$

✨求解方法1（closed-form solution）：

$$v_{\pi }={\left(I-\gamma P_{\pi }\right)}^{-1}{r}_{\pi }$$

通过直接求解，但是这种方法需要求解其逆矩阵，所以一般不采用

✨求解方法2（iterative solution）：

$$v_{k+1}=r_{\pi }+\gamma P_{\pi }{v}_k$$

我们发现：
$$v_k\to v_{\pi }={\left(I-\gamma P_{\pi }\right)}^{-1}{r}_{\pi },k\to \infty$$

✨例子1：

这两个例子就很好，用了不同的策略但是最终的result一样

✨例子2：

这两个策略不好， 两个state value都是负的。

我们可以计算state value来评价一个策略好还是不好

【动作值（action value）】

• state value：agent从一个状态出发所得到的average return

• action value：agent从一个状态出发并且选择了一个action后得到的average return

  在强化学习中，我们选择怎样的策略，策略指的是在一个状态我要选择什么样的action，action value可以判断选择哪些。

✨定义：

$$q_{\pi }(s,a)=\mathbb{E}\left[G_t\mid S_t=s,A_t=a\right]$$

• $q_{\pi }(s,a)$：依赖于从哪个状态出发选择怎样的action；其次他也依赖于策略$\pi$

✨state value与action value关系：

$$\begin{array}{rl}& \underset{v_{\pi }(s)}{\underbrace{\mathbb{E}\left[G_t\mid S_t=s\right]}}=\sum _a\underset{q_{\pi }(s,a)}{\underbrace{\mathbb{E}\left[G_t\mid S_t=s,A_t=a\right]}}\pi (a\mid s)\\ & v_{\pi }(s)=\sum _a\pi (a\mid s)q_{\pi }(s,a)\end{array}$$

state value：我有许多个action，我选择不同action得到的action value的平均值

根据之前的贝尔曼公式：
$$v_{\pi }(s)=\sum _a\pi (a\mid s)[\underset{q_{\pi }(s,a)}{\underbrace{\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)}}]$$
我们得到action value的表达式：
$$q_{\pi }(s,a)=\sum _{r}p(r\mid s,a)r+\gamma \sum _{s^{\prime }}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)$$

✨例子：

$s_1$的action value ：$$q_{\pi }\left(s_1,a_2\right)=-1+\gamma v_{\pi }\left(s_2\right)$$

问题：$q_{\pi }\left(s_1,\underline{a_1}\right),q_{\pi }\left(s_1,\underline{a_3}\right),q_{\pi }\left(s_1,\underline{a_4}\right),q_{\pi }\left(s_1,\underline{a_5}\right)=?$

回答：虽然现在策略告诉我们往右走但是该状态不一定好，实际上所以的action都可以计算的
$$\begin{array}{rl}& q_{\pi }\left(s_1,a_1\right)=-1+\gamma v_{\pi }\left(s_1\right)\\ & q_{\pi }\left(s_1,a_3\right)=0+\gamma v_{\pi }\left(s_3\right)\\ & q_{\pi }\left(s_1,a_4\right)=-1+\gamma v_{\pi }\left(s_1\right)\\ & q_{\pi }\left(s_1,a_5\right)=0+\gamma v_{\pi }\left(s_1\right)\end{array}$$

【小结】