6. 贝尔曼方程

1. 简介

(1)贝尔曼方程是寻找马尔科夫决策过程的最优策略的理论基础

(2)贝尔曼方程是强化学习的基石

(3）几乎所有的强化学习算法（动态规划、蒙特卡诺、时序差分等）都是以贝尔曼方程为基础求解最优策略

2.贝尔曼方程的类别

$$\{\begin{array}{l}贝尔曼期望方程：为策略迭代算法提供理论支撑\\ 贝尔曼最优方程：为值迭代算法提供理论支撑\end{array}$$

3 贝尔曼方程的意义

为各类以迭代方式求解最优策略开启了大门

4 贝尔曼方程的最初形式

4.1 状态值函数

$$\begin{array}{rl}{V}_{\pi }(s)& =E_{\pi }[G_t|S_t=s]\\ & =E_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots |S_t=s]\\ & =E_{\pi }[R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+\cdots )|S_t=s]\\ & =E_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ & =E_{\pi }[R_{t+1}+\gamma V_{\pi }(S_{t+1})|S_t=s]\\ V_{\pi }(s)& -状态为s时遵循策略\pi 时的价值\\ R_{t+1}& -策略为\pi ,状态为s时的立即回报\\ \gamma V_{\pi }(S_{t+1})& -状态为s时，下一时刻状态值函数的折扣期望\end{array}$$

4.2 行为值函数

$$\begin{array}{rl}{Q}_{\pi }(s,a)& =E_{\pi }[G_t|S_t=s,A_t=a]\\ & =E_{\pi }[R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots |S_t=s,A_t=a]\\ & =E_{\pi }[R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+\cdots )|S_t=s,A_t=a]\\ & =E_{\pi }[R_{t+1}+\gamma Q_{\pi }(S_{t+1},A_{t+1})|S_t=s,A_t=a]\end{array}$$

3.贝尔曼期望方程

具有四种表达形式

3.1 $Q\to V$

$$V_{\pi }(s)=\sum _{a\in A}\pi (a|s)Q_{\pi }(s,a)$$

3.2 $V\to Q$

$$Q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}_{\pi }(s^{\prime })$$

3.3 $V^{\prime }\to V$

$$V_{\pi }(s)=\sum _{a\in A}\left[\pi (a|s)\left(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}_{\pi }(s^{\prime })\right)\right]$$

3.4 $Q^{\prime }\to Q$

$$Q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })Q_{\pi }(s^{\prime },a^{\prime })$$

3.5 贝尔曼方程的矩阵形式

$$\begin{gathered} {\mathbf{V}}_{\pi }={\mathbf{R}}_{\pi }+\gamma {\mathbf{P}}_{\pi }{\mathbf{V}}_{\pi } \\ \left[\begin{array}{c}{V}_{\pi }(1)\\ V_{\pi }(2)\\ ⋮\\ V_{\pi }(n)\end{array}\right]=\left[\begin{array}{c}{R}_1^{\pi }\\ R_2^{\pi }\\ ⋮\\ R_n^{\pi }\end{array}\right]+\gamma \left[\begin{array}{cccc}{P}_{11}^{\pi }& P_{12}^{\pi }& \cdots & P_{1n}^{\pi }\\ P_{21}^{\pi }& P_{22}^{\pi }& \cdots & P_{2n}^{\pi }\\ ⋮& ⋮& \ddots & ⋮\\ P_{n1}^{\pi }& P_{n2}^{\pi }& \cdots & P_{nn}^{\pi }\end{array}\right]\left[\begin{array}{c}{V}_{\pi }(1)\\ V_{\pi }(2)\\ ⋮\\ V_{\pi }(n)\end{array}\right] \end{gathered}$$
当$(I-\gamma P_{\pi })$可逆时，
$$V_{\pi }=(I-\gamma P_{\pi }{)}^{-1}{R}_{\pi }$$
当状态空间较小时，可使用上述式子求解值函数，若状态空间很大，则需要用迭代法求解，如动态规划、蒙特卡诺、时序差分。

4. 什么是最优状态值函数

对$\forall s\in S$，若存在$V^{\ast }(s)$，满足：
$$V^{\ast }(s)=\underset{\pi }{\max }{V}_{\pi }(s)$$
则称$V^{\ast }(s)为最优状态值函数$
推论：最优状态值函数$V^{\ast }(s)$对应的策略也是最优策略。

5 什么是最优行为值函数

对$\forall s\in S,\forall a\in A$，若存在$Q^{\ast }(s,a)$，满足：
$$Q^{\ast }(s,a)=\underset{\pi }{\max }{Q}_{\pi }(s,a)$$
则称$Q^{\ast }(s,a)$为最优行为值函数。
推论：最优行为值函数对应的策略也是最优策略。

6. 贝尔曼最优方程

6.1 $Q^{\ast }\to V^{\ast }$

$$V^{\ast }(s)=\underset{a}{\max }{Q}^{\ast }(s,a)$$
这个式子表明：状态s的最优值函数，等于当选取动作a使得最优动作值函数取得最大值时对应的动作值函数

6.2 $V^{\ast }\to Q^{\ast }$

$$Q^{\ast }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}^{\ast }(s^{\prime })$$
这里的s’是s的后继状态，也就是说，利用后继状态最优值函数、状态转移概率及当前奖励，可以计算当前最优行为值函数。

6.3 $V^{{}^{\prime }\ast }\to V^{\ast }$

$$V^{\ast }(s)=\underset{a}{\max }\left[R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{V}^{\ast }(s^{\prime })\right]$$

6.4 $Q^{{}^{\prime }\ast }\to Q^{\ast }$

$$Q^{\ast }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}\underset{a^{\prime }}{\max }{Q}^{\ast }(s^{\prime },a^{\prime })$$