4 动态编程（Dynamic Programming, DP）

【上一篇 3 有限马尔可夫决策过程（Finite Markov Decision Processes）】
【下一篇 5 蒙特卡洛方法 （Monte Carlo Method） 】

之前介绍的知识都是基础，从这次开始才真正开始介绍增强学习的解法方法。

动态编程（Dynamic Programming, DP）这个词大家肯定都不陌生，在解决算法编程问题当中经常会用到，它的主要思想就是将一个复杂的问题分解成多个子问题，将子问题的解结合在一起就构成了原问题的解，它常常适合于解决具有如下两种属性的问题：
（1）优化的子结构：优化解常常可以分解成子问题；
（2）子问题有重叠：即子问题总是重复出现，该子问题的解可以保存下来重复利用。
　　
而马尔可夫决策过程就完美的符合这两点特性：
（1）需要求解的 Bellman 方程提供了递归的分解形式；
（2）Value function 需要存储和重用之前的解。

因此可以说 DP 可以用于求解马尔可夫模型的优化策略，但是由于 DP 问题需要环境的动态模型，并且计算复杂度较高，因此在增强学习中的应用并不广泛，但是它的思想在理论上还是非常重要的，是以后学习的一个理论基础。DP 算法的主要思想就是利用 value function 来寻找好的策略。
　　
这里先介绍一下后文中的符号表示（与之前的相同）：

假设状态集合、行为集合和 reward 集合分别为 $\mathcal{S}$、$\mathcal{A}(s)$ 和 $\mathcal{R}$，动态性用概率 $p(s^{\prime },r|s,a)$ 来表示，其中 $s\in \mathcal{S}$、$a\in \mathcal{A}(s)$、$r\in \mathcal{R}$、$s^{\prime }\in {\mathcal{S}}^{+}$（若问题为 episodic，则 ${\mathcal{S}}^{+}$ 指的是 $\mathcal{S}$ 加上终止状态）。

之前介绍过，若找到了满足 Bellman 优化方程的优化值函数 $v_{\ast }$ 或者 $q_{\ast }$，就可以容易的获得优化的策略，$v_{\ast }$ 与 $q_{\ast }$ 的表达式如下所示：
$$\begin{array}{rl}{v}_{\ast }(s)& =\underset{a}{\max }\mathbb{E}[R_{t+1}+\gamma v_{\ast }(S_{t+1})|S_t=s,A_t=a]\\ & =\underset{a}{\max }\sum _{s’,r}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]\end{array}$$

$$\begin{array}{rl}{q}_{\ast }(s,a)& =\mathbb{E}[R_{t+1}+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(S_{t+1},a^{\prime })|S_t=s,A_t=a]\\ & =\sum _{s’,r}p(s^{\prime },r|s,a)[r+\gamma \underset{a^{\prime }}{\max }{q}_{\ast }(s^{}\end{array}$$