增强学习 - MDPs - 蒙特卡洛方法 + 21点游戏

1. 什么是蒙特卡洛方法

蒙特卡罗方法又叫做统计模拟方法，它使用随机数(或伪随机数)来解决计算问题。 简单来说就是基于概率，比如下图，基于一个不规则的曲线我们很难去求积分，那么我们可以均匀的往这个方框里去撒豆子，撒上10000个豆子以后我们数下面的豆子就可以知道阴影部分的面积了。

2. 为什么用蒙特卡洛方法

前面介绍的动态规划方法（https://blog.csdn.net/weixin_43909872/article/details/85728246）
需要知道整个environment的信息，但有的时候，我们只有经验 (Experience) （比如一组采样），而对environment没有任何其他知识；这种情况下，动态规划方法不再适用，蒙特卡洛方法 (Monte Carlo Method, MC) 成为了新的解决方案。

对于马尔科夫决策过程(MDP)，MDP是通过5元组：<S,P,A,R,γ><S,P,A,R,γ>来做决策的。对于这种已知模型的情况，我们在知道这个5元组的情况下去计算奖赏最大化。但是，在现实世界中，往往无法同时知道这个5元组。比如P，状态转移概率就很难知道，P不知道，我们就无法使用bellman方程来求解V和Q值。怎么办呢？

一个想法是，