Chapter 5: 蒙特卡罗方法

动态规划需要假设完全了解environment，但是蒙特卡罗方法不需要这个假设，而只需要experience ——样本序列的states，action 和rewards（来自与environment的 实际或 模拟交互）。
实际经验（actual experience）： 不需要事先了解环境的动态，但仍然可以获得最佳行为
模拟经验（simulated experience）： 虽然需要模型，但模型只需要生成sample transition，而不像DP需要所有可能转换的完整概率分布。

蒙特卡罗方法是基于average sample returns来解决强化学习问题，为了明确定义的return，蒙特卡罗方法只针对episodic tasks，即假设experience被分为episodes。因此，蒙特卡罗方法可以episode-to-episode增加，但不是step-by-step（online）。

蒙特卡罗方法对每个state-action pair取样和求平均return有点类似Chapter 2中的bandit methods。不同之处在于现在有多个状态，每个状态都像一个不同的bandit problem，而且不同的问题是相互关联的，因为在一个状态下采取行动后的return取决于​​同一episode中后来状态下采取的行动。
这是一个nonstationary problem，为了处理非平稳性，应用了Chapter 4 动态规划中的general policy iteration（GPI）的思想。然而，动态规划中是根据马尔可夫决策过程MDP的知识计算 value function，蒙特卡罗方法是通过MDP从sample returns 学习 value function。

5.1 Monte Carlo Prediction

我们首先考虑蒙特卡罗方法来学习给定策略的state-value function。根据经验估计它的一种方法就是求visit该state后观察到的return的平均值。观察到的return越多，平均值越向期望收敛。这个思想是所有蒙特卡罗方法的基础。

visit： 在一个episode中，每次遇到状态$s$叫作a visit to $s$。

first-visit MC method： 首次visit $s$ 后的returns平均值
every-visit MC method： 所有visit $s$后的returns平均值。
本章主要关注first-visit MC method。

算法：First-visit MC prediction for estimating $V\approx v_{\pi }$

5.2 MC Estimation of Action Values

如果模型不可用，只估计state values 是不够的，必须明确估计每个action的value，即估计state-action values。蒙特卡罗方法的主要目标之一是估计$q_{\ast }$。

但是有一个困难存在：许多state-action pair 可能永远不会被visit。所以，估计state-action value需要确保不断探索。
方法1：exploring starts： 指定episode从某个state-action pair开始，并且每个pair都具有被选择作为开始的非零概率。
方法2：stochastic policies： 更加常见，只考虑stochastic policies，以非零概率选择每个状态中的所有动作。

虽然方法2更加常见，但是本章使用方法1来介绍整个MC 方法。

5.3 MC Control

本节考虑如何用蒙特卡罗估计来求近似最优策略。总体思路与Chapter 4 动态规划相同。
首先，考虑经典policy iteration 的MC 版本：交替执行policy evaluation与policy improvement。

假设：可以观察观察到无数个episode，且以exploring 开始。那么MC方法可以对任意${\pi }_k$精确计算出$q_{\pi k}$，即我们有了aciton-value 函数$q$。

policy evaluation：
（贪婪算法）

policy improvement：

通过上述方式，MC方法仅通过sample episodes就可以找到最优策略。但是观察到无数个episodes和以exploring 开始这两个假设太强，后面会考虑去掉这两个假设。

算法：Monte Carlo ES (Exploring Starts) for estimating $\pi \approx {\pi }_{\ast }$