【强化学习】不基于模型的预测

【强化学习】不基于模型的预测

通过先前的讲解，我们明白了如何从理论上解决一个已知的MDP：通过动态规划来评估一个给定的策略，并且得到最优价值函数，根据最优价值函数来确定最优策略；也可以直接进行不基于任何策略的状态价值迭代得到最优价值函数和最优策略。
本节讨论的是被认为是MDP，但是却不掌握MDP细节的问题（在我看来就是MDP之间状态转移概率不知道），也就是讲述如何直接从Agent与环境的交互来得得到一个估计的最优价值函数和最优策略。本讲的内容，聚焦于策略评估，也就是预测，直白地说就是在给定的策略同时不清楚MDP细节的情况下，估计Agent会得到怎样的最终奖励。
不基于模型的预测分为三个部分：分别是蒙特卡洛强化学习、时序差分强化学习和介于两者之间的λ时序差分强化学习。

蒙特卡洛强化学习 Monte-Carlo Reinforcement Learning

在不清楚MDP状态转移及即时奖励的情况下，直接从经历完整的Episode来学习状态价值，通常情况下某状态的价值等于在多个Episode中以该状态算得到的所有收获的平均。
收获不是针对Episode的，它存在于Episode内，针对于Episode中某一个状态。从这个状态开始经历完Episode时得到的有衰减的即时奖励的总和。从一个Episode中，我们可以得到该Episode内所有状态的收获。当一个状态在Episode内出现多次，该状态的收获有不同的计算方法，下文会讲到。

1. MC可以直接从经历过完整的Episode中来学习状态价值（完整的Episode 指必须从某一个状态开始，Agent与Environment交互直到终止状态，环境给出终止状态的即时收获为止。完整的Episode不要求起始状态一定是某一个特定的状态，但是要求个体最终进入环境认可的某一个终止状态。）
2. MC并不了解回报以及状态转移
3. 使用的思想就是平均收获值代替价值
4. 理论上Episode越多，结果越准确。

蒙特卡洛策略评估 Monte-Carlo Policy Evaluation</