蒙特卡罗强化学习算法

       该算法通过考虑采样轨迹，克服了模型未知给策略估计造成的困难。此类算法需在完成一个采样轨迹后再更新策略的值估计，而基于动态规划的策略迭代和值迭代算法在每执行一步策略后就进行值函数更新。两者相比，蒙特卡洛算法的效率要低得多，这里的主要问题是蒙特卡洛强化学习算法没有充分利用强化学习任务的MDP结构。

        时序差分TD(Temporal Difference)学习则结合了动态规划与蒙特卡罗方法的思想，能做到更高效的免模型学习。

          蒙特卡罗算法的本质是通过多次尝试后求平均来作为期望累积奖赏的近似，但它在求平均时是“批处理式”进行的，即在一个完整的采样轨迹完成后再对所有的状态-动作对进行更新，实际上这个更新过程能增量式进行。