【强化学习】Sara算法

一、 Sara算法中用到的其他方法

（一）蒙特卡洛方法

蒙特卡洛方法也被称为统计模拟方法，是一种基于概率统计的数值计算方法。其使用重复随机抽样，然后对数据求期望来估算目标值。

举例：

我们要求一个策略下的状态价值函数，那么我们通过该策略采样若干条序列，对这些序列上的状态价值函数求期望来估算真实的状态价值函数。一条序列是指从初始状态，按照指定策略下执行动作进行状态转换，直到到达结束状态。

（二）时序差分法

蒙特卡洛法的优劣势：

        优势：直接凭借采样到的数据进行推算，不需要直到环境（状态转移函数、奖励函数）

        劣势：蒙特卡洛的数据估算是无偏的，他对任何一个序列一视同仁，这也会导致各个序列的数据值方差过大，不利于最终结果的估算。

时序差分法

利用后续一步的状态来更新当前状态的值，这是有偏的，方差较小。时序差分方法，每在当前状态下执行一个动作就会得到一个新的状态，利用新状态的价值函数来估计前面状态的价值函数。

二、 Sara算法