增强学习（二）——策略迭代与值迭代

在上一篇文章中，我主要介绍了马尔可夫决策过程（MDP）。在了解了增强学习的基本思想后，我们便可以继续讨论“最优策略”的求解方法：

我们之前已经说到了MDP可以表示成一个元组（X, A, P_sa, R），我们对最优策略的求解方法自然也就与这个元组密切相关：如果该过程的四元组均为已知，我们称这样的模型为“模型已知”，对这种已知所有环境因素的学习称为“有模型学习”（model-basedlearning）；与之对应的就是“无模型学习”，环境因素机器无法得知的，主要是指状态转移概率P_xa。

本篇博客对“有模型学习”的两种方法进行介绍，分别是策略迭代和值迭代。在此之前，我们需要明确增强学习的两大步骤，策略评估与策略改进：

策略评估：

在上一篇博客中，我们已经对“状态值函数”和“状态动作值函数”进行了简单介绍，但在之前的考虑中，我们是认为策略已知，故在贝尔曼方程中没有考虑策略π的取值与改进问题。我们在此以“状态值函数”和“状态动作