动态规划

本文转自：http://www.52caml.com/reinforcement-learning/chapter4-dynamic-programming/

前言

这一节介绍基于模型的强化学习问题求解的一种算法－动态规划算法。动态规划算法是解决复杂问题的一类方法，算法通过把复杂问题分解成若干个子问题，通过求解子问题进一步得到全局问题的解。
所谓基于模型的强化学习即马尔科夫决策过程已知（即状态转移概率已知）。如果MDP未知，称为无模型（model-free）的强化学习，仍有对应的求解算法。
使用动态规划求解问题 需要满足以下条件：
• 最优化原理：问题的最优解是由所包含的子问题的解组成，且子问题的解也是最优的；
• 子问题重叠：即子问题之间不是独立的，一个子问题在下一阶段决策中可能被重复用到。
马尔科夫决策过程满足上述两个条件，即贝尔曼方程把值函数的求解表示成递归地子问题求解过程，值函数相当于存储了一些子问题的解，可以复用。
在强化学习中，动态规划是基于模型的求解最优策略和最优值函数的算法，即在已知模型的基础上判断一个策略的价值函数（策略评估过程），并在此基础上寻求最优的策略和最优价值函数（策略改进过程）。或者直接寻求最优策略和最优价值函数（价值迭代算法）。
动态规划算法属于值表法（Tabular Methods）的一种（下一章的蒙特卡洛方法也属于这一类）。值表法即值函数用表格表示，值函数的参数为表格里的内容。
思考：如何用动态规划算法在MDP基础上求解最优策略？动态规划包括两个主要过程：预测（predict）和控制（control）。

策略评估

上一节提到，强化学习问题可以用MDP描述，并根据贝尔曼最优性原理得到贝尔曼最优化方程，即：
\begin{align} v_(s) & = \max_{a \in \mathcal{A}} R(s,a) + \gamma \sum_{s’ \in \mathcal{S}} P(s’ |s,a) v__(s’) \\ q__(s,a) & = R(s,a) + \sum_{s’ \in \mathcal{S}} P(s’|s,a) \max_{a’ \in \mathcal{A}} q_(s’,a’) \end{align} \qquad (rl.4.1)\begin{align} v_(s) & = \max_{a \in \mathcal{A}} R(s,a) + \gamma \sum_{s’ \in \mathcal{S}} P(s’ |s,a) v__(s’) \\ q__(s,a) & = R(s,a) + \sum_{s’ \in \mathcal{S}} P(s’|s,a) \max_{a’ \in \mathcal{A}} q_(s’,a’) \end{align} \qquad (rl.4.1)

贝尔曼方程符合动态规划中的条件，在这里动态规划的核心是寻找最优值函数。一个关键的问题摆在面前：如何计算策略π下的值函数？
计算公式如下：

$
{ ;//; \color{red} {迭代策略评估算法} \\

1. 输入
   \\ }
   $
   [optional] 补充Gridworld示例。
   策略评估算法用于根据当前策略计算每个状态的值函数的，计算值函数的目的是为了寻求最优策略。那么，如何利用状态值函数改进策略，进而得到最优策略呢？

策略改进

策略改进（policy improvement）采用了比较直接的做法：在已知当前策略的值函数时，在每个状态采用贪婪策略（greedy policy）对当前策略进行改进，形式化表示如下：

至此，我们介绍了策略评估（依据当前策略预测值函数）和策略改进（依据贪婪策略选择最大值函数对应的策略），将二者合起来即为策略迭代算法。

策略迭代

策略迭代算法包括策略评估和策略改进两个步骤。
• 策略评估：给定策略，通过数值迭代算法不断计算该策略下的值函数，直至收敛。
• 策略改进：利用收敛的值函数和贪婪策略得到新的策略；
如此循环下去，最终得到最优策略和最优值函数，是一个策略收敛的过程。策略迭代算法伪代码如下：

这部分参考教材的伪代码
$
{ ;//; \color{red} {策略迭代算法} \\

1. 输入
   \\ }
   $
   值迭代
   从策略迭代算法的伪代码可以看到，每一轮迭代中，在进行策略改进之前都要得到收敛的值函数，收敛的值函数需要很多次循环才能得到。问题：进行策略改进之前一定要得到当前策略对应的收敛值函数吗？
   示例：网格，迭代10次。
   我们发现，当前策略迭代10次与迭代无穷次所得到的贪婪策略都是一样的。因此，对于上面的问题，不一定非得等到策略评估算法完全收敛，才进行策略改进。如果在进行一次策略评估之后就进行策略改进，称之为值函数迭代算法。
   
   更多案例请关注“思享会Club”公众号或者关注思享会博客：http://gkhelp.cn/