“贝尔曼方程”那些事儿:含贝尔曼方程详细推导，通俗易懂

欢迎大家关注搜索关注微信公众号《一懂算法》，希望能把东西讲的通俗易懂，终极目标是一遍就懂

零、前言

相信只要是浅学过强化学习的人应该都能感受到贝尔曼方程的重要性，可以说是遍布了各种教程的每个角落。在遇到这些贝尔曼方程的时候，一直有几个问题困扰着我：

1. 怎么又冒出来一个贝尔曼方程？
2. 咋格式还和上一个不一样，变体咋这么多？
3. 证明怎么这么跳跃？

几度回看都是跳过贝尔曼方程的细节，不想被绕进去。这几天终于有时间静下心来把证明过程理清了一遍，希望能用直白的语言跟大家讲清楚，尽量掰开揉碎了讲给大家。

一、基础变量符号定义

讲之前还是得声明一下几个重要变量的符号，毕竟不同版本之前的符号约定很容易差异。【这里默认大家了解强化学习基础概念，只是简单声明定义】
第$t$回合下：

1. 奖励为$r_t$,状态为$s_t$,动作为$a_t$
2. 回报$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+\dots +{\gamma }^{T-t-1}{R}_T$，也就是当前回合到回合结束的总奖励（含折扣）
3. 状态价值函数$V_{\pi }(s_t)={\mathbb{E}}_{\pi }\left[\begin{array}{c}{G}_t\mid S_t=s_t\end{array}\right]$，即$s_t$状态下回报的期望
4. 动作价值函数$Q_{\pi }(s_t,a_t)={\mathbb{E}}_{\pi }\left[G_t\mid S_t=s_t,A_t=a_t\right]$,即$s_t$状态下执行动作$a_t$后回报的期望

二、抽丝剥茧，逐步证明

好了，现在开始进入正文：

1. 首先，为什么贝尔曼方程能成为强化学习的核心基础？

   • 是因为它描述的是当前状态的价值和下一状态的价值的关系，有了这个关系，就可以通过下一个状态的价值来迭代更新上一状态的价值【这样就可以通过最后一个状态逐步往前倒着推】。
   • 这也是贝尔曼方程推导思想的核心，我们需要想办法找到当前状态价值和下一状态价值的具体关系，搭好它们之间的“大桥”，也就是找到$V(s_t)$和$V(s_{t+1})$的公式关系。

2. 那么如何找到$V(s_t)$和$V(s_{t+1})$的公式关系呢？

• 首先我们先从状态价值函数的定义出发进行拆分，看看能不能从$V(s_t)$中拆分出$V(s_{t+1})$
  $$\begin{array}{rl}V(s_t)& =\mathbb{E}\left[G_t\mid S_t=s_t\right]（状态价值函数的定义）\\ & =\mathbb{E}\left[\begin{array}{c}{R}_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots \mid S_t=s_t\end{array}\right]（回报的定义）\\ & =\mathbb{E}\left[R_{t+1}|S_t=s_t\right]+\gamma \mathbb{E}\left[R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}+\dots \mid S_t=s_t\right]（期望的可加性）\\ & =R(s_t)+\gamma \mathbb{E}[G_{t+1}|S_t=s_t]（回报的定义）\end{array}$$

• 我们现在得到了$V(s_t)$和$G_{t+1}$的关系，这个时候我们还是无法去做迭代的，因为$V(s_t)$无法继续往前推导出$V(s_{t-1})$，我们还是需要继续得到$V(s_t)$和$V(s_{t+1})$之间的迭代关系，才能循环推导下去，因此我们还需要从$G_{t+1}$中拆分出$V(s_{t+1})$！

  • 首先从定义上可以显然知道两者的关系，即$V(s_{t+1})=\mathbb{E}\left[\begin{array}{c}{G}_{t+1}\mid S_{t+1}=s_{t+1}\end{array}\right]$,这里我们发现其实已经很接近上面的$\mathbb{E}\left[\begin{array}{c}{G}_{t+1}\mid S_t=s_t\end{array}\right]$了,两者求期望的目标都是$G_{t+1}$,只不过两者求期望的条件不一样，一个是$s_t$，一个是$s_{t+1}$。这个时候我们注意，$s_{t+1}$就是$s_t$的下一个状态，换句话说也相当于$s_t$的一个子空间，这时候我们就可以用全期望公式建立起它们的联系了。

  • 全期望公式：$E(X)={\sum }_k^{m}P(Y_k)E(X|Y_k)=E(E(X|Y))$
    公式含义说法1：随机变量X的数学期望等于，局部条件下X的期望的加权平均
    公式含义说法2：将样本空间划分为m个互斥的子空间，在每个空间下对X求期望然后再加权平均，结果就等于直接对X求期望

  • 那么由全期望公式我们可以得到：
    $$\mathbb{E}[G_{t+1}|S_t=s_t]=\sum _{s_{t+1}}\mathbb{E}[G_{t+1}|S_t=s_t,S_{t+1}=s_{t+1}]p(s_{t+1}|s_t)$$
    再由于马尔可夫性，$G_{t+1}$其实只和$s_{t+1}$有关，和$s_t$无关，因此
    $$\mathbb{E}[G_{t+1}|S_t=s_t,S_{t+1}=s_{t+1}]=\mathbb{E}[G_{t+1}|S_{t+1}=s_{t+1}]=V(s_{t+1})$$
    将其代回上一个式子得，
    $$\mathbb{E}[G_{t+1}|S_t=s_t]=\sum _{s_{t+1}}V(s_{t+1})p(s_{t+1}|s_t)=\mathbb{E}[V_{t+1}|S_t=s_t]$$
    综上
    $$\begin{array}{rl}V(s_t)& =R(s_t)+\gamma \mathbb{E}[G_{t+1}|S_t=s_t]\\ & =R(s_t)+\gamma \sum _{s_{t+1}}V(s_{t+1})p(s_{t+1}|s_t)\\ & =R(s_t)+\gamma \mathbb{E}[V_{t+1}|S_t=s_t]\end{array}$$
    以上的公式也被称作“贝尔曼期望方程”。

三、千遍万化，打包汇总

证明好了上面的方程后，很有可能会有人有疑惑：“这和我看到的贝尔曼方程也不是完全一样啊，我看到的感觉更复杂啊”。确实，上面只是贝尔曼方程中的一种形式，但是搞明白了一种之后，其它的推导和转化也就容易了，接下来我们将逐步推导并转化出贝尔曼方程的其它形式：

1. 贝尔曼期望方程——展开版
2. 贝尔曼期望方程——动作价值函数版
3. 贝尔曼最优方程

补充

1. 全期望公式证明

$$\begin{array}{rl}& E\left(X\right)\\ & =\sum _{i=1}^n{x}_{i}P(x_i)<期望的定义>\\ & =\sum _{i=1}^n\left[x_i\sum _{k=1}^{m}P\left(x_i,Y_k\right)\right]<将P(x_i)展开>\\ & =\sum _{i=1}^n\left[x_i\sum _{k=1}^{m}P\left(x_i|Y_k\right)P\left(Y_k\right)\right]<条件期望的定义>\\ & =\sum _{i=1}^n\sum _{k=1}^m[x_{i}P\left(x_i|Y_k\right)P\left(Y_k\right)]<交换求和次序>\\ & =\sum _{k=1}^m[\sum _{i=1}^n{x}_{i}P\left(x_i|Y_k\right)]P\left(Y_k\right)<对i求和时，Y_k相当于常量>\\ & =\sum _{k=1}^{m}E(X|Y_k)P\left(Y_k\right)<期望的定义>\\ & =E(E(X|Y))<期望的定义>\end{array}$$