蒙特卡洛树搜索方法介绍——规划与学习

引言

本节通过对动态规划方法、蒙特卡洛方法、时序差分方法进行归纳，介绍规划与学习两种思想。

环境与模型

在动态规划求解强化学习任务 中介绍过，动态规划方法使用的核心思想是自举(Boostrapping)方法：
$$V_{k+1}(S_t)=\sum _{a\in \mathcal{A}(s)}\pi (a\mid s)\sum _{s’,r}P(s’,r\mid s,a)(r+\gamma V_k(s’))$$
并且介绍了想要使用动态规划方法求解强化学习任务，就必须要已知 完备的迁移动态，即 任意有意义的状态-动作对的动态特性函数$P(s’,r\mid s,a)$ 均是已知的。我们称这种方法为有模型方法(Model-based Method)。
注：该模型指的是‘环境模型’，是基于环境自身的性质，通过动态特性函数表示出来。
有模型方法主要依赖的思想是规划(Planning);

针对像蒙特卡洛方法、时序差分方法这种 对动态特性函数未知或未完全可知 的情况，而通过真实样本进行采样得到的真实经验(Experience)对策略进行估计的方法，我们称为无模型方法(Model-free Method)。
无模型方法主要依赖的思想是学习(Learning);

规划思想与学习思想

规划与学习的相同点

基于已经介绍过的动态规划方法、蒙特卡洛方法、时序差分方法，它们三个之间的共同点：

• 对策略更新的过程中，它们都使用了价值函数这个概念作为媒介，对策略进行更新：
  之所以将‘价值函数’称为‘媒介’——是因为这三种方法并没有直接对策略$\pi$进行求解，而是通过‘价值函数’和‘策略’相互迭代的方式进行求解。相反，直接对策略$\pi$进行求解参考‘策略梯度方法’。
• 回溯思想：其核心思想是没有办法在当前时刻$t$更新价值函数，只能通过未来时刻更新当前时刻$t$的价值函数。我们观察几种方法的策略评估过程：
  • 动态规划-策略评估(其中 R t + 1 + γ V π