强化学习 之 经验均值累计奖励（蒙特卡罗方法）与期望累计奖励（马尔科夫决策过程）的区别

以求圆形面积为例

一、期望累计奖励：也就是已知概率求均值

如果把累计奖励

视为在概率空间中的一个随机变量 X ，假设对应每个 x1 , x2 , x3 , … 的值出现的概率为 p1 , p2 , p3 , … , 那么 X 的期望值 E[X] 的定义应为

则圆形的面积为（虽然是放屁脱裤子——多此一举，但希望你能get到 “ 已知模型后再去求值 ” 的点）

也就是已知模型后再去求值，也就是马尔可夫决策过程（MDP）。
但在这里，这个“期望的” 累计奖励难以直接计算，因为在现实中，通常没有明确地给出状态转移和奖励函数。

二、经验均值累计奖励

假如我们进行了 N 次随机采样，每次采样得到的累计奖励结果为 G_t^(i) , i = 1 , 2 , … , N , 那么这个经验平均累计奖励可以写成

则圆形的面积为

当采样的次数足够多时，我们就使用这样一个 “ 经验平均累计奖励” 来逼近 “期望累计奖励”。
也就是通过随机采样的 “经验平均” 来估计期望值，也就是蒙特卡洛法。即模型无关的强化学习直接从经验中学习值和策略，而无需构建马尔可夫决策过程（MDP）。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

如果大家喜欢这篇文章的话，希望大家收藏、转发、关注、评论、点赞，转载请注明出自这里。 PS：本随笔属个人学习小结，文中内容有参考互联网上的相关文章。如果您博文的链接被我引用，我承诺不会参杂经济利益；如果有版权纠纷，请私信留言。其中如果发现文中有不正确的认知或遗漏的地方请评论告知，谢谢！ 还是那句话：不是我喜欢copy，是站在巨人的肩膀上~~