强化学习系列（七）：n-step Bootstrapping (步步为营）

一、前言

在强化学习系列（五）：蒙特卡罗方法（Monte Carlo)和强化学习系列（六）：时间差分算法（Temporal-Difference Learning)中，我们介绍了两种用于求解环境模型未知的MDP方法：MC和TD，MC是一种每episode更新一次的方法，TD是单步更新的方法，n-step Bootstrapping （步步为营）是一种介于TD和MC之间的方法，n-step更新一次。

本章我们仍然按照GPI思想，分prediction 和control 问题介绍n-step Bootstrapping （步步为营）方法。

二、n-step TD prediction

n-step TD prediction方法是一种介于蒙特卡罗方法（Monte Carlo)和时间差分算法（Temporal-Difference Learning)之间的方法，与MC和TD的Backup图如下：

最左侧的为我们在第六章中介绍的TD(0)算法，最右侧为我们在第五章中介绍的MC算法，当在一个采样数据中选择以n步数据来更新value function 时，采用的方法为 n-step TD prediction。

此处以更新$S_t$的state-value的估计值来说明n-step TD prediction，假设采样数据为$S_t,R_{t+1},S_{t+1},R{t+2},...,R_T,S_T$

---

MC:

TD:(one-step return)

其中$\gamma V_t(S_{t+1})$代替了 γRt+2+γ2Rt&