n-step Bootstrapping

n-步 TD 预测

考虑使用策略 $\pi$ 生成样本回合估计 $v_{\pi }$，蒙特卡洛法基于从该状态直到回合结束生成的完整的奖励序列来更新每个状态
而一步 TD 法，基于下一个奖励，从一步之后的状态的价值进行引导，作为剩余价值的代理
一种中间的方法是，基于中间数量的奖励：超过一个，但少于直到结束前的所有，来完成更新
例如，两步更新法，将会基于前两个奖励以及两个时间步之后的状态的估计值，来完成更新

使用 n-步更新的方法仍是 TD 法，因为它们仍然基于之前的估计值和稍后的估计值的变化来更新之前的估计值，只不过这个 “稍后” 不仅仅是一步之后，而是 n 步之后
这种将时序差分延伸到 n 步的就叫作 n-步 TD 法

考虑对状态 $S_t$ 的估计值的更新，其作为状态-奖励序列的结果：
$S_t,R_{t+1},S_{t+1},R_{t+2},\dots ,R_T,S_T$ （省略动作）
我们知道，蒙特卡洛法更新 $v_{\pi }(S_t)$ 基于完整的回报：
$$G_t\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-t-1}{R}_T$$
将这个量叫作更新的目标
在蒙特卡洛法里，更新的目标是回报，而一步更新中，目标是第一次奖励加上下一个状态的估计值的折扣，我们叫作一步回报：
$$G_{t:t+1}\doteq R_{t+1}+\gamma V_t(S_{t+1})$$
其中 $V_t:\mathcal{S}\to \mathbb{R}$ 在这里是指 $v_{\pi }$ 在时间 $t$ 的估计值

$G_{t:t+1}$ 的下标表示它是时间 $t$ 的截断回报，使用直到时间 $t+1$ 的奖励，用折扣估计 $\gamma V_t(S_{t+1})$ 代替其他项：$\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\cdots +{\gamma }^{T-t-1}{R}_T$ 的完全回报
因此，两步更新的目标是两步回报：
$$G_{t:t+2}\doteq R_{t+1}+\gamma R_{t+2}+{\gamma }^2{V}_{t+1}(S_{t+2})$$
这里 ${\gamma }^2{V}_{t+1}(S_{t+2})$ 纠正了项：${\gamma }^2{R}_{t+3}+{\gamma }^3{R}_{t+4}+\cdots +{\gamma }^{T-t-1}{R}_T$ 的缺失

类似地，任意 n-步更新的目标是 n-步回报：
$$G_{t:t+n}\doteq R_{t+1}+\gamma R_{t+2}+\cdots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^n{V}_{t+n-1}(S_{t+n})$$
对所有的 $n,t$，使：$n⩾1$ 和 $0⩽t<T-n$
所有 n-步回报可以被认为是对全回报的近似，在 n-步之后被截断并对剩余缺失的项用 $V_{t+n-1}(S_{t+n})$ 来纠正
如果 $t+n⩾T$（n-步回报超过了终止点），那么所有缺失的项被当作为零，因此 n-步回报和原始全回报等同：$(G_{t:t+n}\doteq G_t\text{if}t+n⩾T)$

注意，对于 $n>1$ 的 n-步回报，涉及到在从 $t$ 转移到 $t+1$ 还未知的，未来的奖励和状态
在直到得到 $R_{t+n}$ 和计算出 $V_{t+n-1}$ 之前，没有算法能够使用 n-步回报，而第一次能够计算这些是在时间点 $t+n$
因此，一个为了使用 n-步回报的自然状态-价值学习算法是：
$$V_{t+n}(S_t)\doteq V_{t+n-1}(S_t)+\alpha [G_{t:t+n}-V_{t+n-1}(S_t)],0⩽t<T$$
而所有其他状态的价值保持不变：对于所有 $s\ne S_t$，有