贝尔曼方程【Bellman Equation】

强化学习笔记

主要基于b站西湖大学赵世钰老师的【强化学习的数学原理】课程，个人觉得赵老师的课件深入浅出，很适合入门.

第一章 强化学习基本概念
第二章 贝尔曼方程

---

---

第一章我们介绍了强化学习的基本概念，本章介绍强化学习中一个重要的概念——贝尔曼方程.

一、状态值函数贝尔曼方程

贝尔曼方程（Bellman Equation），也称为贝尔曼期望方程，用于计算给定策略 $\pi$时价值函数在策略指引下所采轨迹上的期望。考虑如下一个随机轨迹：

$$\begin{array}{rlrlr}& & & & S_t\stackrel{A_t}{\to }{R}_{t+1},S_{t+1}\stackrel{A_{t+1}}{\to }{R}_{t+2},S_{t+2}\stackrel{A_{t+2}}{\to }{R}_{t+3},\dots \end{array}$$
那么累积回报$G_t$可以写成如下形式：
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots ,\\ & =R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+\dots ),\\ & =R_{t+1}+\gamma G_{t+1}.\end{array}$$
状态值函数的贝尔曼方程为：

$$\begin{array}{rl}{v}_{\pi }(s)& \doteq {\mathbb{E}}_{\pi }[G_t\mid S_t=s]\\ & ={\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}\mid S_t=s]\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })],\forall s\in \mathcal{S}.\end{array}$$

• 由值函数的定义出发，得到了一个关于$v$的递推关系

下面再来详细的推导一下贝尔曼方程，由回报的定义，可以将$G_t$拆成两部分：
$$\begin{array}{rl}{v}_{\pi }\left(s\right)& =\mathbb{E}[G_t|S_t=s]\\ & =\mathbb{E}[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =\mathbb{E}[R_{t+1}|S_t=s]+\gamma \mathbb{E}[G_{t+1}|S_t=s].\end{array}$$
首先考虑第一部分 $\mathbb{E}[R_{t+1}|S_t=s]$，全概率公式的应用：

$$\begin{array}{rl}\mathbb{E}[R_{t+1}|S_t=s]& =\sum _a\pi (a|s)\mathbb{E}[R_{t+1}|S_t=s,A_t=a]\\ & =\sum _a\pi (a|s)\sum _{r}p(r|s,a)r.\end{array}$$
再来考虑第二部分 $\mathbb{E}[G_{t+1}|S_t=s]$，第二个等式用到马尔可夫性质和全概率公式：

$$\begin{array}{rl}\mathbb{E}\left[G_{t+1}|S_t=s\right]& =\sum _{s^{\prime }}\mathbb{E}[G_{t+1}|S_t=s,S_{t+1}=s^{\prime }]p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}\mathbb{E}[G_{t+1}|S_{t+1}=s^{\prime }]p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })p(s^{\prime }|s)\\ & =\sum _{s^{\prime }}{v}_{\pi }(s^{\prime })\sum _{a}p(s^{\prime }|s,a)\pi (a|s).\end{array}$$
以上两部分合起来：
$$\begin{array}{rl}{v}_{\pi }\left(s\right)& =\mathbb{E}[R_{t+1}|S_t=s]+\gamma \mathbb{E}[G_{t+1}|S_t=s],\\ & \begin{array}{r}=\underset{\text{mean of immediate rewards}}{\underbrace{\sum _a\pi (a|s)\sum _{r}p(r|s,a)r}}+\underset{\text{mean of future rewards}}{\underbrace{\gamma \sum _a\pi (a|s)\sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime }),}}\end{array}\\ & =\sum _a\pi (a|s)\left[\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_{\pi }(s^{\prime })\right],\forall s\in \mathcal{S}\\ & =\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })],\forall s\in \mathcal{S}.\end{array}$$

Note:

• 贝尔曼公式给出了值函数的一个递推关系式.
• 当前状态的值函数，可以由其他状态的值函数完全确定.
• 注意到${\sum }_{s^{\prime }}{v}_{\pi }(s^{\prime })p(s^{\prime }|s)=\mathbb{E}[v_{\pi }(s)|S_t=s]$，这个式子也经常用.

下面的树状图形象的刻画了贝尔曼方程中几个求和符合，各变量之间的关系：

在本文后面部分从向量形式的角度，我们能够更清晰的看到各个状态值之间的关系。
实例：
仍然是agent-网格问题，绿色箭头表示当前策略：

二、贝尔曼方程的向量形式

我们将贝尔曼公式拆成两项之和的形式：
$$v_{\pi }(s)=r_{\pi }(s)+\gamma \sum _{s^{\prime }}{p}_{\pi }(s^{\prime }|s)v_{\pi }(s^{\prime }),$$其中：
$$\begin{array}{r}{r}_{\pi }(s)\triangleq \sum _a\pi (a|s)\sum _{r}p(r|s,a)r,p_{\pi }(s^{\prime }|s)\triangleq \sum _a\pi (a|s)p(s^{\prime }|s,a)\end{array}.$$

假设状态为$s_i(i=1,\dots ,n)$，对于状态$s_i$, Bellman方程为：
$$v_{\pi }\left(s_i\right)=r_{\pi }\left(s_i\right)+\gamma \sum _{s_j}{p}_{\pi }\left(s_j\mid s_i\right)v_{\pi }\left(s_j\right)\forall i=1,\dots ,n$$

把所有状态的方程放在一起重写成矩阵-向量的形式
$$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$$
其中

• $v_{\pi }={\left[v_{\pi }\left(s_1\right),\dots ,v_{\pi }\left(s_n\right)\right]}^T\in {\mathbb{R}}^n$
• $r_{\pi }={\left[r_{\pi }\left(s_1\right),\dots ,r_{\pi }\left(s_n\right)\right]}^T\in {\mathbb{R}}^n$
• $P_{\pi }\in {\mathbb{R}}^{n\times n}$，其中${\left[P_{\pi }\right]}_{ij}=p_{\pi }\left(s_j\mid s_i\right)$为状态转移矩阵

实例：

从这个向量形式，我们可以很清晰地看到每个状态值都可能和其他状态值有关系，是否有关系有状态转移概率决定。给定一个策略，算出出相应的状态值被称为策略评估，这是强化学习的一个基本问题。而通过上面的介绍我们知道要得到state value，可以求解贝尔曼方程。由刚刚介绍的贝尔曼方程矩阵形式：
$$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$$易得：
$$v_{\pi }=(I-\gamma P_{\pi }{)}^{-1}{r}_{\pi }$$
但矩阵的求逆是$O(n^3)$的复杂度，当矩阵很大时，求解效率很低。所以我们通常不用这个方法来解贝尔曼方程，而是采用迭代法（下一章详细介绍）.迭代法格式如下：
$$\begin{array}{r}{v}_{k+1}=r_{\pi }+\gamma P_{\pi }{v}_k\end{array}$$给定一个初始值$v_0$，可以得到迭代序列 { v 0 , v 1 , v 2 , … } . \{v_0,v_1,v_2,\ldots\}. {v0​,v1​,v2​,…}. 并且可以证明

$$v_k\to v_{\pi }=(I-\gamma P_{\pi }{)}^{-1}{r}_{\pi },k\to \infty$$
也就是可以用迭代法，通过有限次迭代得到一个近似值.

三、动作值函数

由状态值函数与动作值函数的关系（第一节 强化学习基本概念中有介绍），我们知道：
$$v_{\pi }(s)=\sum _a\pi (a|s)q_{\pi }(s,a).$$上小节关于状态值函数的贝尔曼方程为：
$$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$两式对比我们可以得到动作值函数的贝尔曼方程：
$$q_{\pi }(s,a)=\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$
总结一下：

四、参考资料

1. Zhao, S… Mathematical Foundations of Reinforcement Learning. Springer Nature Press and Tsinghua University Press.
2. Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. MIT press, 2018.