强化学习—经验回放

经验回放(Experience Replay)

Experience Replay 是一种用于强化学习的技术，特别是在深度 Q 网络（DQN）等深度强化学习算法中，目的是通过打破经验数据的时间相关性，提高样本利用效率和稳定性。

Experience Replay 的基本概念

在传统的强化学习中，代理从环境中连续收集样本并立即使用这些样本进行学习。然而，这种方法可能导致样本之间的高时间相关性，从而影响学习的稳定性。Experience Replay 通过存储和重用过去的经验来解决这个问题。

Experience Replay 的工作流程

1. 经验存储：

   • 代理在与环境交互时，将每一步的经验（三元组）( (s, a, r, s’) ) 存储在一个称为经验池（Replay Buffer）的数据结构中。

2. 样本重用：

   • 在每次更新策略时，从经验池中随机采样一小批经验（Mini-Batch），用于更新价值函数或策略。

3. 批量更新：

   • 使用随机采样的经验进行批量更新，减少了时间相关性，提高了训练的稳定性。

Experience Replay 的优势

• 打破相关性：

  • 通过从经验池中随机采样，打破了样本之间的时间相关性，使得学习过程更加稳定。

• 提高样本效率：

  • 重复利用经验池中的样本，提高了数据的利用效率，减少了对新样本的依赖。

• 平滑更新：

  • 批量更新可以减少参数更新的方差，使学习过程更加平滑和稳定。

Experience Replay 在DQN中的应用

在深度 Q 网络（DQN）中，Experience Replay 被广泛应用以改善学习效果。DQN 通过结合 Experience Replay 和目标网络（Target Network），成功地在多种复杂任务（如 Atari 游戏）中取得了显著的效果。

1. 经验池维护：

   • DQN 中，经验池通常是一个固定大小的 FIFO 队列，以便存储最新的经验并丢弃最旧的经验。

2. 批量更新策略：

   • 每次策略更新时，DQN 从经验池中随机采样一批经验，用于计算损失函数并更新网络权重。

扩展技术：优先级经验重放

优先级经验重放（Prioritized Experience Replay） 是 Experience Replay 的一种改进技术。它根据经验的重要性分配采样概率，使得重要性较高的经验被更频繁地采样和利用。重要性通常通过 TD-误差来衡量。

总结

Experience Replay 是强化学习中一种重要的技术，通过打破经验的时间相关性，提高了样本效率和学习的稳定性。它在深度强化学习算法（如 DQN）中的应用，显著提升了算法在复杂环境中的表现。

笔记

原始TD算法的缺点:

• 每一个状态转换使用之后都会丢弃，会浪费很多经验。

• 有的场景前后状态相关性很强，经验证明强相关性的前后状态对训练效果有负面影响，最好能将其打散。

经验回放可以重复利用之前的经验，也可以将序列打散，去除强相关性。

使用随机梯度下降方法替换常规梯度下降方法。实际上使用mini-batch SGD比较多。

经验回放的优势：

优先经验回放：

调整学习率方法

调整TD Error: