《强化学习》第四章 动态规划

动态规划（Dynamic Programming，DP）是一类 优化方法，在给定一个用马尔科夫决策过程(MDP)描述的 完备环境模型的情况下，其可以计算 最优的策略。

本章中，我们假设环境是一个有限MDP。也就是说，我们假设状态集合S、动作集合A和收益集合R是有限的，并且整个系统的动态特性由对于任意$s\in S、a\in A(s)、r\in R和s^{\prime }\in S^{+}(S^{+}$表示在分幕式任务下S加上一个终止状态）的四参数概率分布p(s’,r|s,a)给出。

在强化学习中，DP的核心思想是使用价值函数来结构化地组织对最优策略的搜索。在本章中，我们讨论如何使用DP来计算第3章中定义的价值函数。如前所述，一旦我们得到了满足贝尔曼最优方程的价值函数$v_{\ast }$或$q_{\ast }$，得到最优策略就很容易了。对于任意$s\in S、a\in A(s)、r\in R和s^{\prime }\in S^{+}$，有
$$\begin{array}{rl}{v}_{\ast }(s)& =ma{x}_a\mathbb{E}[R_t+1+\gamma v_{\ast }(S_{t+1})|S_t=s,A_t=a]\\ & =ma{x}_a\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\ast }(s^{\prime })]\end{array}$$
或
$$\begin{array}{rl}{q}_{\ast }(s,a)& =\mathbb{E}[R_{t+1}+\gamma ma{x}_{a^{\prime }}{q}_{\ast }(S_{t+1,a^{\prime }})|S_t=a,A_t=a]\\ & =\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma ma{x}_{a^{\prime }}{q}_{\ast }(s^{\prime },a^{\prime })],\end{array}$$
由上可见，通过将贝尔曼方程转化成近似逼近理想价值函数的递归更新公式，我们就得到了DP算法。

4.1 策略评估（预测）

首先，我们思考对于任意一个策略π，如何计算其状态价值函数$v_{\pi }$，这在DP文献中被称为策略评估。我们有时也称其为预测问题。回顾第3章的内容，对于任意$s\in S$
$$\begin{array}{rl}{v}_{\pi }(s)& \doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s\right]\\ & ={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma G_{t+1}\mid S_t=s\right]\\ & ={\mathbb{E}}_{\pi }\left[R_{t+1}+\gamma v_{\pi }(S_{t+1})\mid S_t=s\right]\\ & =\sum _a\pi (a\mid s)\sum _{s^{\prime },r}p\left(s^{\prime },r\mid s,a\right)\left[r+\gamma v_{\pi }\left(s^{\prime }\right)\right],\text{ for all }s\in \mathcal{S}\end{array}$$
理论上， v π ( s ) v_\pi(s) v