【强化学习】Prioritized Experience Replay（2016）

RL最简单的形式是，在单独的更新后就立刻丢弃掉到来的数据。伴随而来的有2个问题：

1. 强相关的更新打破了随机梯度下降算法的假定
2. 一些少见的experience可能会在之后有用

经验回放解决了2个问题：

1. 通过融合一些近期的经验有可能打破相关性
2. 一些少见的经验会被重复用到

这篇文章主要研究与所有的transition被均匀回放相比，哪种transition被回放可以是的经验回放更加有效。之前有研究表示，一些转换并不是立刻对agent有效的，而是在agent能力增加后才变得有效。经验回放将agent从经历确定顺序的经验中解放出来，优先回放则是将agent从经历的转换频率相同中解放出来。

这种优先性可能会导致多样性的损失，这个可以用随机优化来解决。
也会引入bias（？），这个可以用important sampling来修正。

TD error提供了一个衡量有限性的方式，本文的方法是用了针对model-free RL的一个相似优先算法（？）

TD error已经被用作一个优先机制来确定该关注的地方，例如选择探索地点的时间或者要选择的是什么特征。

监督学习中，有很多处理数据集不均衡的方法，例如re-sampling，under-sampling和over-sampling等（？）。最近有篇论文将re-sampling引入到deep RL的experience replay中，它将经验分为两个部分，一个为了正奖励，一个为了负奖励，如何从两部分中分别选择固定部分去回放。这个办法仅仅适用于存在正负经验的情况。

PRIORITIZED REPLAY<