贝尔曼方程-推导与联系

更新于2024.10.21，在做了一些工作后对贝尔曼方程有了新的理解，此外发现文章中存在的一些错误，故重新编辑，在这里进行一个更新。
贝尔曼方程实际上有着许多的表达方式，在不同的场景下也有着不同的称呼，但是这些表达方式之间均可以相互转化，且均描述了某一状态$state$（或是状态-动作对$state-actionpair$）与其他所有状态或是状态-动作对的关系，本文包含以下几个部分，一是状态价值函数间的贝尔曼方程，二是动作价值函数间的贝尔曼方程，三是总结了不同部分的联系：
由定义出发，可以得$V$与$Q$的联系：
$$v_{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}[q_{\pi }(s,a)](V-Q)$$
而贝尔曼方程则有三种表述方式：
$$\begin{array}{rl}& v_{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}\left[\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[v_{\pi }(s^{\prime })\right]\right](V-V)\\ & q_{\pi }(s,a)=\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[v_{\pi }(s^{\prime })\right](Q-V)\\ & q_{\pi }(s,a)=\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[{\mathbb{E}}_{a\sim \pi (\cdot \mid s)}[q_{\pi }(s,a)])\right](Q-Q)\end{array}$$

一、状态价值函数（state-Value function）间的贝尔曼方程

这一次我们从累计折扣回报$G_t$出发，$G_t$被定义为：
$$G_t\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots$$
状态价值函数$v_{\pi }(s)（state-Valuefunction）$被定义为：
$$v_{\pi }(s)\doteq \mathbb{E}\left[G_t\mid S_t=s\right]$$
这也是sutton《强化学习》3.5节中给出的形式，我们的目的是构建状态之间的联系。首先由
$$\begin{array}{rl}{G}_t& =R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots \\ & =R_{t+1}+\gamma \left(R_{t+2}+\gamma R_{t+3}+\dots \right)\\ & =R_{t+1}+\gamma G_{t+1}\end{array}$$
进而状态价值函数可以被表示为：
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}\left[G_t\mid S_t=s\right]\\ & =\mathbb{E}\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s\right]\\ & =\mathbb{E}\left[R_{t+1}\mid S_t=s\right]+\gamma \mathbb{E}\left[G_{t+1}\mid S_t=s\right]\end{array}$$
状态价值函数由两部分构成，对于$\mathbb{E}\left[R_{t+1}\mid S_t=s\right]$有：
$$\begin{array}{rl}\mathbb{E}\left[R_{t+1}\mid S_t=s\right]& =\sum _{r\in R}{r}_{t+1}p(r_{t+1}\mid S_t=s)\\ & =\sum _{r\in R}\sum _{a\in A}{r}_{t+1}p(r_{t+1},A_t=a\mid S_t=s)\\ & =\sum _{r\in R}\sum _{a\in A}{r}_{t+1}p(r_{t+1}\mid S_t=s,A_t=a)\pi (a\mid s)\\ & =\sum _{a\in A}\pi (a\mid s)\sum _{r\in R}{r}_{t+1}p(r_{t+1}\mid S_t=s,A_t=a)\\ & =\underline{\sum _{a\in A}\pi (a\mid s)\sum _{s^{\prime }\in S}\sum _{r\in R}rp(s^{\prime },r\mid s,a)}\\ & =\sum _{a\in \mathcal{A}}\pi (a\mid s)\sum _{r\in \mathcal{R}}p(r\mid s,a)r.\end{array}$$
下划线部分即对应于sutton《强化学习》3.5节中贝尔曼方程的的第一部分。接下来来处理$\mathbb{E}\left[G_{t+1}\mid S_t=s\right]$：
$$\begin{array}{rl}\mathbb{E}\left[G_{t+1}\mid S_t=s\right]& =\sum G_{t+1}p(G_{t+1}\mid S_t=s)\\ & =\sum _{s^{\prime }\in S}\sum G_{t+1}p(G_{t+1},s^{\prime }\mid S_t=s)\\ & =\sum _{s^{\prime }\in S}\sum G_{t+1}p(G_{t+1}\mid S_t=s,S_{t+1}=s^{\prime })p(s^{\prime }\mid S_{t+1}=s^{\prime })\\ & =\sum _{s^{\prime }\in \mathcal{S}}\mathbb{E}\left[G_{t+1}\mid S_t=s,S_{t+1}=s^{\prime }\right]p\left(s^{\prime }\mid s\right)\\ & =\sum _{s^{\prime }\in \mathcal{S}}\mathbb{E}\left[G_{t+1}\mid S_{t+1}=s^{\prime }\right]p\left(s^{\prime }\mid s\right)\\ & =\underline{\sum _{s^{\prime }\in \mathcal{S}}{v}_{\pi }\left(s^{\prime }\right)p\left(s^{\prime }\mid s\right)}\\ & =\sum _{s^{\prime }\in \mathcal{S}}{v}_{\pi }\left(s^{\prime }\right)\sum _{a\in \mathcal{A}}p\left(s^{\prime }\mid s,a\right)\pi (a\mid s)\\ & =\sum _{a\in \mathcal{A}}\pi (a\mid s)\sum _{s^{\prime }\in \mathcal{S}}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\end{array}$$
为了与sutton的表述相同，对于下划线部分：
$$\begin{array}{rl}\sum _{s^{\prime }\in \mathcal{S}}{v}_{\pi }\left(s^{\prime }\right)p\left(s^{\prime }\mid s\right)& =\sum _{a\in A}\sum _{s^{\prime }\in \mathcal{S}}{v}_{\pi }\left(s^{\prime }\right)p\left(s^{\prime },a\mid s\right)\\ & =\sum _{a\in A}\sum _{s^{\prime }\in \mathcal{S}}{v}_{\pi }\left(s^{\prime }\right)p\left(s^{\prime }\mid s,a\right)\pi (a\mid s)\\ & =\sum _{a\in A}\pi (a\mid s)\sum _{s^{\prime }\in \mathcal{S}}{v}_{\pi }\left(s^{\prime }\right)p\left(s^{\prime }\mid s,a\right)\\ & =\underline{\sum _{a\in A}\pi (a\mid s)\sum _{s^{\prime }\in \mathcal{S}}\sum _{r\in \mathcal{R}}{v}_{\pi }\left(s^{\prime }\right)p\left(s^{\prime },r\mid s,a\right)}\end{array}$$
融合上面两个部分：
$$\begin{array}{rl}{v}_{\pi }(s)& =\mathbb{E}\left[R_{t+1}\mid S_t=s\right]+\gamma \mathbb{E}\left[G_{t+1}\mid S_t=s\right],\\ & =\sum _{a\in \mathcal{A}}\pi (a\mid s)\sum _{r\in \mathcal{R}}p(r\mid s,a)r+\gamma \sum _{a\in \mathcal{A}}\pi (a\mid s)\sum _{s^{\prime }\in \mathcal{S}}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\end{array}$$
从上式可以看出状态价值函数由两部分构成，第一部分是平均瞬时回报第二部分是平均未来回报。继续整理得：
$$\begin{array}{c}{v}_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a\mid s)\left[\sum _{r\in \mathcal{R}}p(r\mid s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\right]\end{array}$$
若是表述为期望形式则有：
$$v_{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}\left[\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[v_{\pi }(s^{\prime })\right]\right](V-V)$$
这个形式描述了状态价值函数间的关系.
若是代入下划线部分则得到sutton《强化学习》3.5节中的表述：
$$v_{\pi }(s)=\sum _a\pi (a\mid s)\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\pi }\left(s^{\prime }\right)\right]$$
实际上就是多做了一次全概率公式的求和。这也说明贝尔曼方程有着相当多形式的描述。上面的描述实际上属于$pair-wise$形式的描述，若是将不同状态间的描述排列成方程组的形式即可得到$matrix-vector$形式的贝尔曼方程：
$$\underset{v_{\pi }}{\underbrace{\left[\begin{array}{l}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]}}=\underset{r_{\pi }}{\underbrace{\left[\begin{array}{c}{r}_{\pi }\left(s_1\right)\\ r_{\pi }\left(s_2\right)\\ r_{\pi }\left(s_3\right)\\ r_{\pi }\left(s_4\right)\end{array}\right]}}+\gamma \underset{P_{\pi }}{\underbrace{\left[\begin{array}{llll}{p}_{\pi }\left(s_1\mid s_1\right)& p_{\pi }\left(s_2\mid s_1\right)& p_{\pi }\left(s_3\mid s_1\right)& p_{\pi }\left(s_4\mid s_1\right)\\ p_{\pi }\left(s_1\mid s_2\right)& p_{\pi }\left(s_2\mid s_2\right)& p_{\pi }\left(s_3\mid s_2\right)& p_{\pi }\left(s_4\mid s_2\right)\\ p_{\pi }\left(s_1\mid s_3\right)& p_{\pi }\left(s_2\mid s_3\right)& p_{\pi }\left(s_3\mid s_3\right)& p_{\pi }\left(s_4\mid s_3\right)\\ p_{\pi }\left(s_1\mid s_4\right)& p_{\pi }\left(s_2\mid s_4\right)& p_{\pi }\left(s_3\mid s_4\right)& p_{\pi }\left(s_4\mid s_4\right)\end{array}\right]}}\underset{v_{\pi }}{\underbrace{\left[\begin{array}{l}{v}_{\pi }\left(s_1\right)\\ v_{\pi }\left(s_2\right)\\ v_{\pi }\left(s_3\right)\\ v_{\pi }\left(s_4\right)\end{array}\right]}}$$
即：
$$v_{\pi }=r_{\pi }+\gamma P_{\pi }{v}_{\pi }$$
其中$v_{\pi }={\left[v_{\pi }\left(s_1\right),\dots ,v_{\pi }\left(s_n\right)\right]}^T\in {\mathbb{R}}^n$，$r_{\pi }={\left[r_{\pi }\left(s_1\right),\dots ,r_{\pi }\left(s_n\right)\right]}^T\in {\mathbb{R}}^n$，$P_{\pi }\in {\mathbb{R}}^{n\times n}$，${\left[P_{\pi }\right]}_{ij}=p_{\pi }\left(s_j\mid s_i\right)$。这一形式在表格型MDP中有闭式解，也多用于表格型MDP的推导，有兴趣的可以自行查阅

二、动作价值函数（state-action Value function）间的贝尔曼方程

状态-动作对$(s,a)$的动作价值函数$q_{\pi }(s,a)（action-Valuefunction）$被定义为：
$$q_{\pi }(s,a)\doteq \mathbb{E}\left[G_t\mid S_t=s,A_t=a\right]$$
由全概率公式：
$$\underset{v_{\pi }(s)}{\underbrace{\mathbb{E}\left[G_t\mid S_t=s\right]}}=\sum _{a\in \mathcal{A}}\underset{q_{\pi }(s,a)}{\underbrace{\mathbb{E}\left[G_t\mid S_t=s,A_t=a\right]}}\pi (a\mid s)$$
得：
$$\begin{array}{rl}{v}_{\pi }(s)& =\sum _{a\in \mathcal{A}}\pi (a\mid s)q_{\pi }(s,a)\\ & ={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}[q_{\pi }(s,a)](V-Q)\end{array}$$
期望形式描述了状态价值与动作价值之间的联系，代入公式（1）即得：
$$\sum _{a\in \mathcal{A}}\pi (a\mid s)q_{\pi }(s,a)=\sum _{a\in \mathcal{A}}\pi (a\mid s)\left[\sum _{r\in \mathcal{R}}p(r\mid s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\right]$$
两边同时去掉${\sum }_{a\in \mathcal{A}}\pi (a\mid s)$即得：
$$\begin{array}{c}{q}_{\pi }(s,a)=\sum _{r\in \mathcal{R}}p(r\mid s,a)r+\gamma \sum _{s^{\prime }\in \mathcal{S}}p\left(s^{\prime }\mid s,a\right)v_{\pi }\left(s^{\prime }\right)\end{array}$$
若以期望形式描述，则可以表述为：
$$q_{\pi }(s,a)=\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[v_{\pi }(s^{\prime })\right](Q-V)$$
这一期望形式描述了动作价值与状态价值之间的联系。
$$v_{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}[q_{\pi }(s,a)](V-Q)$$
将定义的期望形式代入即有：
$$q_{\pi }(s,a)=\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[{\mathbb{E}}_{a\sim \pi (\cdot \mid s)}[q_{\pi }(s,a)])\right](Q-Q)$$
这一形式则描述了动作价值之间的联系。类似的，动作价值函数的贝尔曼方程同样有矩阵向量形式，此处略去不表。

三、总结

由定义出发，可以得$V$与$Q$的联系：
$$v_{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}[q_{\pi }(s,a)](V-Q)$$
而贝尔曼方程则有三种表述方式：
$$\begin{array}{rl}& v_{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot \mid s)}\left[\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[v_{\pi }(s^{\prime })\right]\right](V-V)\\ & q_{\pi }(s,a)=\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[v_{\pi }(s^{\prime })\right](Q-V)\\ & q_{\pi }(s,a)=\mathbb{E}[r\mid s,a]+\gamma {\mathbb{E}}_{s^{\prime }\sim p(\cdot \mid s,a)}\left[{\mathbb{E}}_{a\sim \pi (\cdot \mid s)}[q_{\pi }(s,a)])\right](Q-Q)\end{array}$$