强化学习—Multi-Step TD Target

Multi-Step TD Target

Multi-step TD Target 是一种结合多步时间差分（TD）方法的目标计算方式，用于在强化学习中更新价值函数。这种方法不仅使用当前时间步的信息，还利用接下来多个时间步的信息来更新值函数，从而在某种程度上缓解单步更新中估计偏差较大的问题。

Multi-step TD Target 的基本概念

在标准的时间差分学习中，目标是基于单步回报计算的，而多步 TD 目标则基于多个时间步的累积回报。这种方法通过引入多个时间步的回报，权衡了短期和长期信息的使用，提供了更丰富的估计。

Multi-step TD Target 的计算

1. 定义多步回报：
   $$\begin{gathered} 对于一个给定的时间步t，多步TD回报G_t^{(n)}是从当前时间步t开始的n步累积回报加上未来的估计值。公式为： \\ {G}_t^{(n)}=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots +{\gamma }^{n-1}{R}_{t+n}+{\gamma }^{n}V(S_{t+n}) \\ 其中，R_{t+1},R_{t+2},\dots ,R_{t+n}是接下来的n步奖励，V(S_{t+n})是状态S_{t+n}的估计值。 \end{gathered}$$

2. 多步TD更新：

   • 使用多步回报更新值函数 V ：
     $$\begin{gathered} V(S_t)\leftarrow V(S_t)+\alpha \left(G_t^{(n)}-V(S_t)\right) \\ 其中，\alpha 是学习率。 \end{gathered}$$

Multi-step TD 的优势

• 平衡偏差和方差：

  • 多步 TD 方法结合了单步 TD 的低方差和蒙特卡洛方法的低偏差，通过选择合适的步数 ( n )，可以在偏差和方差之间取得平衡。

• 更快的收敛速度：

  • 由于使用了更多的回报信息，多步 TD 方法通常比单步 TD 方法具有更快的收敛速度。

• 灵活性：

  • 可以根据任务的具体需求调整步数 ( n )，以适应不同的环境动态和复杂度。

Multi-step TD 在强化学习中的应用

Multi-step TD 被用于强化学习中的许多算法，如：

• n-step SARSA：

  • 扩展了标准 SARSA 的更新方式，结合多个时间步的回报。

• n-step Q-learning：

  • 将多步 TD 目标用于 Q-learning 的更新，结合多个步骤的最大值。

• TD(λ)：

  • 通过权重衰减将多个步长结合起来，形成了一个参数化的连续多步方法。

总结

Multi-step TD Target 是一种有效的强化学习方法，通过结合多步回报来改进值函数的更新。它在处理复杂环境、加速收敛和改善估计精度方面提供了灵活的工具，是许多强化学习算法的重要组成部分。

笔记

普通的Sarsa方法和Q-Learning方法都是One-Step Return方法，都是只用了一个时刻的环境奖励去进行TD计算更新网络参数。

Multi-Step Return使用了更多的环境真实反馈奖励，方法效果更好，更接近真实情况。