MC方法与TD方法区别

强化学习中常用的更新方法包括MC和TD

MC方法:

其更新公式为 V(s) ← V(s) + α (G – V(s))

其中G为当前状态到episode截止所有reward之和，Q-learning base 的方法经常使用MC方法来进行更新。

MC方法是一个高方差无偏差的方法：

因为其更新是使用G来更新， G是一个真实从环境的值，需要获得完整的episode之后才计算得到，但获取这一条episode本身是一个概率较小的事件，所以这是一个高方差的更新，如果G是当前状态下获取之后所有奖励的期望，那么这个公式就是偏差和方差都为0的更新，但获取G的期望是一个很难的事情，需要遍历从当前状态所有episode的可能。

TD方法：

V(s)← V(s) + α (r + V(s’) – V(s))

在A2C算法中，critic采用上面的公式进更新，可以看到TD的更新方式使用估计值V(s’) + r 代替了G， 所以TD是一个有偏的方法， 从s到s’是一个概率较大的事件相较于MC方法获取整条序列， 所以说TD是一个低方差的方法。

高方差需要更多的样本来训练，偏差会导致不收敛或收敛结果较差。

上面是TD(0)的更新，TD(n)等同于MC的方法