贝尔曼方程基于全期望公式的前期推导

一、需要证明：

$$\mathbb{E}[V(s_{t+1})|s_t]=\mathbb{E}[\mathbb{E}[G_{t+1}|s_{t+1}]|s_t]=\mathbb{E}[G_{t+1}|s_t],\text{\hspace{1em}(1)}$$ 其中第一个等号可以由定义 $V(s_{t+1})=\mathbb{E}[G_{t+1}|s_{t+1}]$ 直接得。现证明第二个等号。公式（1）将有利于推导贝尔曼方程。

二、证明过程：

• 为了简化符号表达，先把公式（1）的符号下标省略。$s_t=s$, $G_{t+1}=g^{\prime }$ 和 $s_{t+1}=s^{\prime }$.

• 说明几个将会用到的公式
  1. If x is a discrete random variable, then, it expectation value $\mathbb{E}[x]$ is,
  $$\mathbb{E}[x]=\sum _{x}xp(x)=\sum _i\mathbb{E}[x|A_i]p(A_i)=\sum _{x}x\sum _{i}p(x|A_i)p(A_i),\text{\hspace{1em}(2)}$$其中 $p(x)$表示$x$的概率密度函数, 且 $p(x)={\sum }_{i}p(x|A_i)p(A_i)$ 【全概率公式】。
  2. If x and y are discrete random variables, then, their conditional expectation value $\mathbb{E}[y|x]$ is,
  $$\mathbb{E}[y|x]=\sum _{y}yp(y|x).\text{\hspace{1em}(3)}$$

• 可以看到 需要证明的公式 是一个具有 双重期望 与 双重条件集 的 等式 $\mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]|s]=\mathbb{E}[g^{\prime }|s]$。所以先尝试推导 一个简单的情况( 双重期望、单条件集的情况)，即 $\mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]]=\mathbb{E}[g^{\prime }]$ ：
  $$\begin{gathered} \mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]]=\sum _{s^{\prime }}\mathbb{E}[g^{\prime }|s^{\prime }]p(s^{\prime }) \\ =\sum _{s^{\prime }}\sum _{g^{\prime }}{g}^{\prime }p(g^{\prime }|s^{\prime })p(s^{\prime }) \\ =\sum _{g^{\prime }}{g}^{\prime }[\sum _{s^{\prime }}p(g^{\prime }|s^{\prime })p(s^{\prime })] \\ =\sum _{g^{\prime }}{g}^{\prime }[\sum _{s^{\prime }}p(g^{\prime },s^{\prime })] \\ =\sum _{g^{\prime }}{g}^{\prime }p(g^{\prime })=\mathbb{E}[g^{\prime }].\text{\hspace{1em}(4)} \end{gathered}$$ 首先我们需要关注的是 期望$\mathbb{E}(\cdot )$ 是对谁求期望。即，在$\mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]]$中， 第一个期望 $\mathbb{E}$ 针对$s^{\prime }$，第二个期望 $\mathbb{E}$ 针对$g^{\prime }$. 所以：
  公式(4)的第一个等号，可以根据公式(2)得出。公式(4)的第二个等号，可以根据公式(3)得出.
  公式(4)的第三个等号，做了个交换顺序。公式(4)的第四个、五个等号，可以从公式(2)提及的全概率公式知道。

• 现在来推我们想要的 双重期望 与 双重条件集 的 等式 $\mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]|s]=\mathbb{E}[g^{\prime }|s]$ 就容易多了：
  $$\begin{gathered} \mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]|s]=\sum _{s^{\prime }}\mathbb{E}[g^{\prime }|s^{\prime },s]p(s^{\prime }|s) \\ =\sum _{s^{\prime }}[\sum _{g^{\prime }}{g}^{\prime }p(g^{\prime }|s^{\prime },s)]p(s^{\prime }|s) \\ =\sum _{g^{\prime }}{g}^{\prime }[\sum _{s^{\prime }}p(g^{\prime }|s^{\prime },s)p(s^{\prime }|s)] \\ =\sum _{g^{\prime }}{g}^{\prime }[\sum _{s^{\prime }}p(g^{\prime },s^{\prime }|s)] \\ =\sum _{g^{\prime }}{g}^{\prime }p(g^{\prime }|s)=\mathbb{E}[g^{\prime }|s].\text{\hspace{1em}(5)} \end{gathered}$$ 与公式(4)同样的思路，我们先分析 每个期望$\mathbb{E}(\cdot )$ 是对谁求期望。即，在$\mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]|s]$中， 第一个期望 $\mathbb{E}$ 针对$s^{\prime }$，第二个期望$\mathbb{E}$ 针对$g^{\prime }$ （和公式(4)一样）. 所以：
  公式(5)的第一个等号，与公式(4)相比，只是多了个$s$作为条件集（注意的是 因为这里$s$条件集并没有被要求做期望 $\mathbb{E}$，所以它只发挥条件集的作用）。
  公式(5)的第二个等号，可以根据公式(3)得出.
  公式(5)的第三个等号，做了个交换顺序。
  公式(5)的第四个等号，可以从公式(2)提及的全概率公式知道：相比公式(2)的 $p(g^{\prime }|s^{\prime })p(s^{\prime })=p(g^{\prime },s^{\prime })$, 这里也只是多了个条件集，所以类似有 $p(g^{\prime }|s^{\prime },s)p(s^{\prime }|s)=p(g^{\prime },s^{\prime }|s)$ 。

综上， $\mathbb{E}[\mathbb{E}[g^{\prime }|s^{\prime }]|s]=\mathbb{E}[g^{\prime }|s]$ 得证。上述过程参考了[1], 里面包含了连续随机变量 双重期望、单条件集的证明，也就是公式(4)连续情况的证明.

reference

[1] https://www.zhihu.com/question/58919546