蒙特卡洛、TD、动态规划的关系

前言

本文收录于强化学习工作准备专栏，回答了深度强化学习面试题汇总的第1题。

动态规划

动态规划是在已知环境（转移概率和奖励函数）的情况下，采用价值迭代/策略迭代的方式求解强化学习问题的方法。

基于策略$\pi$的价值函数定义为：

即，给定起始状态和根据策略$\pi$采取动作时的累计奖励期望。

价值迭代：采用Bellman等式进行更新

价值函数经过多轮迭代，最终收敛至最优价值函数

策略迭代：依据价值函数选择累计奖励最大的动作

策略经过多轮迭代，最终收敛至最优策略

蒙特卡洛方法（Monte-Carlo methods,MC）

MC方法值得是一类依赖于重复随机采样获得数值结果的计算方法，依赖的是统计学中的大数定理。
在强化学习中，MC方法对于状态s采样n条轨迹，计算累计奖励的期望。价值函数的计算是基于完整的轨迹。

增量蒙特卡洛更新

蒙特卡洛采样采用最简单的思想：值（value）=平均累计奖励（mean reward）

时序差分(TD)

时序差分的方法不需要完整的轨迹，其采用当前对于状态价值函数的预测值作为累计奖励来更新状态价值。

时序差分方法直接从经验片段中进行学习；
并且是模型无关的，不需要预先获取马尔可夫决策过程的状态转移/奖励；
通过bootstraping,时序差分从不完整的片段中学习；
时序差分更新当前预测值使之接近估计累计奖励；

MC和TD的区别

左图是MC算法，其采用最终的累计奖励修正每个状态的价值函数。右图是TD算法，其采用下一状态的价值函数作为累计奖励的估计值，来修正当前状态的价值函数。

MC、TD、动态规划的关系

MC、TD和动态规划计算价值函数时：MC通过对轨迹进行采样，然后根据轨迹计算累计奖励，最后计算价值函数；TD通过采用当前对价值函数的预测值作为累计奖励，然后计算价值函数；动态规划根据当前价值函数和转移过程，来计算价值函数。

参考文献
文中图片均来自RL China暑期课2021 第5课 强化学习入门（一） 张伟楠老师PPT
课程地址：https://www.bilibili.com/video/BV13P4y1s7we