强化学习2 基于蒙特卡罗的强化学习

“强化学习的精髓之一，就是解决无模型的马尔科夫决策问题。”——《深入浅出强化学习》第四章

蒙特卡罗方法：在无模型（状态转移概率未知）的强化学习中，随机地从状态出发，经过许多次试验，最终到达终止状态，如图（蒙特卡罗中的经验）：

利用蒙特卡罗方法求状态处的值函数时，又可以分为第一次访问蒙特卡罗方法和每次访问蒙特卡罗方法。

第一次访问蒙特卡罗方法是指，在计算状态s处值函数时，只利用每次试验中第一次访问到状态s时的返回值。如图3.3中第一次试验所示，计算状态处的均值时只利用 。因此第一次访问蒙特卡罗方法的计算公式为：

每次访问蒙特卡罗方法是指，在计算状态处的值函数时，利用所有访问到状态时的回报返回值，即：

 

蒙特卡罗方法伪代码：

参考：https://zhuanlan.zhihu.com/p/25743759