强化学习中贝尔曼等式推导过程中的疑问解答

1.贝尔曼等式

$$V(s)=R(s)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }|s)V(s^{\prime })$$其中：

• $R(s)$是Immediate reward
• $\gamma \sum _{s^{\prime }\in S}P(s^{\prime }|s)V(s^{\prime })$是Discounted sum of future reward
• $s^{\prime }$是未来的所有状态
• $V(s^{\prime })$代表未来某一个状态的价值
• $P(s^{\prime }|s)$代表从当前状态转移到未来状态的概率
  贝尔曼等式定义了当前状态与未来状态之间的关系

2.基础巩固

• 条件概率公式：$$P(A,B)=P(AB)=P(A|B)P(B)=P(B|A)P(A)$$
• 全概率公式：$$P(B)=\sum _{i}P(A_i)P(B|A_i)$$
• 贝叶斯公式：$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

3.全期望公式（LIE）

若$A_i$是样本空间的有限或可数的划分，则全期望公式可表示为：$$E\left(X\right)=\sum _{i}E\left(X|A_i\right)P(A_i)$$为了简洁，令$s=s_t$，$g^{\prime }=G_{t+1}$，$s^{\prime }=s_{t+1}$，则回报的期望可以表示为：$$\mathbb{E}\left[G_{t+1}|s_{t+1}\right]=\mathbb{E}\left[g^{\prime }|s^{\prime }\right]=\sum _{g^{\prime }}gp(g^{\prime }|s^{\prime })$$令$s_t=s$，对上式求期望有：$$\begin{array}{l}\mathbb{E}\left[\mathbb{E}\left[G_{t+1}|s_{t+1}\right]|s_t\right]=\mathbb{E}\left[\mathbb{E}\left[g^{\prime }|s^{\prime }\right]|s\right]\\ =\sum _{s^{\prime }}\sum _{g^{\prime }}\mathbb{E}\left[\mathbb{E}\left[g^{\prime }|s^{\prime }\right]\right]p(g^{\prime }|s^{\prime },s)p(s^{\prime }|s)\\ =\sum _{s^{\prime }}\sum _{g^{\prime }}\frac{g^{\prime }p(g^{\prime }|s^{\prime },s)p(s^{\prime }|s)p(s)}{p(s)}\\ =\sum _{s^{\prime }}\sum _{g^{\prime }}\frac{g^{\prime }p(g^{\prime }|s^{\prime },s)p(s^{\prime },s)}{p(s)}\\ =\sum _{g^{\prime }}\sum _{s^{\prime }}\frac{g^{\prime }p(g^{\prime },s^{\prime },s)}{p(s)}\\ =\sum _{g^{\prime }}\frac{g^{\prime }p(g^{\prime },s)}{p(s)}\\ =\sum _{g^{\prime }}{g}^{\prime }p(g^{\prime }|s)\\ =\mathbb{E}\left[g^{\prime }|s\right]=\mathbb{E}\left[G_{t+1}|s_t\right]\end{array}$$即：$$\mathbb{E}\left[V(s_{t+1})|s_t\right]=\mathbb{E}\left[\mathbb{E}\left[G_{t+1}|s_{t+1}\right]|s_t\right]=\mathbb{E}\left[G_{t+1}|s_t\right]$$

4.贝尔曼等式推导

$$\begin{array}{l}V(s)=\mathbb{E}\left[G_t|s_t=s\right]\\ =\mathbb{E}\left[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots |s_t=s\right]\\ =\mathbb{E}\left[R_{t+1}|s_t=s\right]+\gamma \mathbb{E}\left[R_{t+2}+\gamma R_{t+3}+{\gamma }^2{R}_{t+4}\dots |s_t=s\right]\\ =R(s)+\gamma \mathbb{E}\left[G_{t+1}|s_t=s\right]\\ =R(s)+\gamma \mathbb{E}\left[V(s_{t+1})|s_t=s\right]\\ =R(s)+\gamma \sum _{s^{\prime }\in S}P(s^{\prime }|s)V(s^{\prime })\end{array}$$贝尔曼等式就是当前状态与未来状态的迭代关系，表示当前状态的值函数可以通过下个状态的值函数来计算。

小白经验记录，大神请批评指正。
如果文章对你有用，请点个赞吧~