论文理解【RL - Exp Replay】—— An Equivalence between Loss Functions and Non-Uniform Sampling in Exp Replay

• 标题：An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay
• 文章链接：An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay
• 发表：NIPS 2020
• 领域：强化学习 —— Experience Replay

---

• 摘要：优先经验重放（PER）是一种深度强化学习技术，该技术中 agent 从非均匀采样的 transition 中学习，transition 被采样的概率与他们的 TD error 成比例。我们证明了基于非均匀采样 transition 计算的任何损失函数都可以转化为另一个具有相同期望梯度的基于均匀采样 transition 的损失函数。令人惊讶的是，我们发现在某些环境中，PER 可以完全被这种新的损失函数所取代，而不会对经验性能产生影响。此外，这种关系还提出了改进 PER 的一个新的分支，即通过修正其等价的均匀采样损失函数来进行改进。我们在几个 MuJoCo 和 Atari 环境中证明了我们对 PER 和等效的损失函数的修改的有效性

1. PER 背景

1.1 Experience Replay

• 对于 off-policy 的强化学习方法而言，由于不要求 target policy 和 behavior policy 相同，我们可以把过去的经验 transition 保存下来重复使用，这样有三个好处
  1. 破除价值估计和探索方向的循环依赖，使 agent 训练更稳定
  2. 破除短时数据相关性，减少优化时的震荡
  3. 增加数据利用率
• 为了实现 Experience Replay，通常增设一个 Experience Buffer 存储过去的 transition，agent 和环境交互图如下
  

1.2 Prioritized Experience Replay

• 原始的 Experience Replay 中，训练 agent 使用的 transition 是从 Experience Buffer 中均匀采样的，这里其实隐含了一个假设，就是 “agent 从不同 transition 中学习的量相等”，但是显然有些 transition 是更利于 agent 学习的，这就好像监督学习中的困难样本和简单样本，如果能在学习过程中强调这些关键 transition，就可能大幅提升样本效率和收敛速度
• Prioritized Experience Replay 就是基于这个思路提出的一个方法，它认为 “TD error 代表 agent 对一个 transition 的惊讶程度，可以作为该 transition 对于学习作用量的一个估计”，所以该方法以更高的概率重放那些高 TD error 的 transition，使用重尾分布来保证 transition 的多样性，并且使用重要性采样比来消除期望梯度方向的偏差
• 关于 PER 的详细介绍可以参考：论文理解【RL - Exp Replay】 —— 【PER】Prioritized Experience Replay

2. 本文方法

2.1 理论分析

• PER 论文是比较启发式的，没有严格的理论推导，人们发现有时引入 PER 这个 trick 后算法性能反而下降了，但由于缺乏理论基础难以定量地分析其中原因。作者从 PER 切入，对以 PER 为代表非均匀优先级经验重放进行了详细的理论分析 ，这也是本文的主要贡献
• 本文的 general result 是：“使用某损失函数 ${\mathcal{L}}_1$ 的非均匀优先重放策略” 的期望梯度（方向）和 “使用另一损失函数 ${\mathcal{L}}_2$ 的均匀重放策略” 是相等的。利用此结果，我们可以把任意非均匀采样重放方法转换为另一个使用特定损失函数的均匀采样重放方法，进而通过这个新的损失函数分析原方法合理性，如下图所示
  
  作者使用此方法分析了 PER 的问题所在，并提出一个改进方法，这是本文的另一贡献

2.1.1 问题的形式化描述

• 首先明确分析的对象和数学形式：本文针对基于 Bellman equation 迭代的 off-policy value prediction 类方法（类似 Actor-Critic 框架中 Critic）展开分析，这种情况下我们要学习一个 Q 价值网络来估计某个给定策略 $\pi$ 对应的价值

  1. 设网络参数为 $\theta$，任意状态 $(s,a)$ 的价值估计为
     $$\begin{array}{rl}{Q}_{\theta }^{\pi }(s,a)& ={\mathbb{E}}_{\pi }[\sum _{t=0}^{\infty }{\gamma }^t{r}_{t+1}|s_0=s,a_0=a]\\ & ={\mathbb{E}}_{r,s^{\prime }\sim p;a^{\prime }\sim \pi }[r+\gamma Q_{\theta }^{\pi }(s^{\prime },a^{\prime })]\end{array}$$ 给一个从 replay buffer $\mathcal{B}$ 中采样的 transition $i=(s,a,r,s^{\prime })$，TD error 为
     $$\delta (i)=Q_{\theta }(i)-y(i)=Q_{\theta }(i)-(r+\gamma Q_{{\theta }^{\prime }}(s,a))$$ 其中学习目标 $y(i)=r+\gamma Q_{{\theta }^{\prime }}(s,a)$ 由一个独立的，参数为 ${\theta }^{\prime }$ 的目标网络给出，每隔一定步数做更新 ${\theta }^{\prime }\leftarrow \theta$

  2. 基于 TD error 设计损失函数 $\mathcal{L}(\delta (i))$ ，在一个尺寸为 $M$ 的 mini-batch 上的平均损失为 $\frac{1}{M}{\sum }_i\mathcal{L}(\delta (i))$

     这里的常数 $M$ 不会影响期望损失或梯度，在分析中不重要

  3. 考察更新价值网络时的梯度
     $${▽}_{\theta }\mathcal{L}=\frac{\partial \mathcal{L}}{\partial \theta }=\frac{\partial \mathcal{L}}{\partial \delta }\frac{\partial \delta }{\partial Q}\frac{\partial Q}{\partial \theta }=\frac{\partial \mathcal{L}}{\partial Q}\frac{\partial Q}{\partial \theta }={▽}_Q\mathcal{L}\cdot {▽}_{\theta }Q$$ 其中 ${▽}_{\theta }Q$ 只和 $Q$ 网络结构有关，不在我们关心的范畴，我们只考察和损失函数相关的 ${▽}_Q\mathcal{L}$ 项 （注意 $\delta (i)$ 是关于 $Q(i)$ 的函数）

  4. 本文关注三种损失

     1. $L_1$ 损失：${\mathcal{L}}_{L1}(\delta (i))=|\delta (i)|$，梯度为 ${▽}_Q{\mathcal{L}}_{L1}(\delta (i))=\text{sign}(\delta (i))$
     2. MSE 损失：${\mathcal{L}}_{\text{MSE}}(\delta (i))=0.5\delta (i{)}^2$，梯度为 ${▽}_Q{\mathcal{L}}_{\text{MSE}}(\delta (i))=\delta (i)$
     3. Huber 损失：
        $${\mathcal{L}}_{\text{Huber}}=\{\begin{array}{rlrl}& 0.5\delta (i{)}^2& & if|\delta (i)|\le k,\\ & k(|\delta (i)|-0.5k)& & \text{otherwise}\end{array}$$ 通常设置 $k=1$，这样根据 $|\delta (i)|$ 的取值，Huber 损失的梯度等价与 MSE 或 $L_1$ 损失。这种损失函数可以看作 0 附近更平滑的 $L_1$ 损失

2.1.2 定理 1（等期望梯度转换的条件）

• 给出实现 2.1 节引子部分转换的思路：给定 transition 分布 ${\mathcal{D}}_1$ 和 ${\mathcal{D}}_2$，损失函数 ${\mathcal{L}}_1$ 和 ${\mathcal{L}}_2$。对于第 $i$ 个样本，在 ${\mathcal{D}}_1$ 上采样并使用 ${\mathcal{L}}_1$ 的期望损失梯度，可以通过使用重要性采样比 $\frac{p_{{\mathcal{D}}_1}(i)}{p_{{\mathcal{D}}_2}(i)}$ 从另一个分布 ${\mathcal{D}}_2$ 上确定
  
  假设 ${\mathcal{L}}_2$ 的梯度是上述右式内部的式子，即
  $${▽}_Q{\mathcal{L}}_2(\delta (i))=\frac{p_{{\mathcal{D}}_1}(i)}{p_{{\mathcal{D}}_2}(i)}{▽}_Q{\mathcal{L}}_1(\delta (i))\text{\hspace{1em}(1)}$$ 满足如此条件的 ${\mathcal{L}}_2$ 可以保证两个分布下的期望梯度相等，即 ${\mathbb{E}}_{{\mathcal{D}}_1}[{▽}_Q{\mathcal{L}}_1(\delta (i))]={\mathbb{E}}_{{\mathcal{D}}_2}[{▽}_Q{\mathcal{L}}_2(\delta (i))]$

  举例来说，如果把 ${\mathcal{D}}_1$ 定义为有限集 $\mathcal{B}$ 上的均匀分布 $\mathcal{U}$，${\mathcal{D}}_2$ 定义为优先采样分布 $p(i)=\frac{|\delta (i)|}{{\sum }_{j\in \mathcal{B}}|\delta (j)|}$，则 MSE 和 $L_1$ 之间有以下关系
  $$\begin{array}{rl}{\mathbb{E}}_{\mathcal{U}}[{▽}_Q{\mathcal{L}}_{\text{MSE}}(\delta (i))]& ={\mathbb{E}}_{{\mathcal{D}}_2}[\frac{p_{{\mathcal{D}}_1}(i)}{p_{{\mathcal{D}}_2}(i)}{▽}_Q{\mathcal{L}}_{\text{MSE}}(\delta (i))]\\ & ={\mathbb{E}}_{{\mathcal{D}}_2}[\frac{1}{N}\frac{{\sum }_j|\delta (i)|}{|\delta (i)|}\delta (i)]\\ & ={\mathbb{E}}_{{\mathcal{D}}_2}\left[\frac{{\sum }_j|\delta (i)|}{N}\frac{\delta (i)}{|\delta (i)|}\right]\\ & ={\mathbb{E}}_{{\mathcal{D}}_2}[\frac{{\sum }_j|\delta (i)|}{N}\text{sign}(\delta (i))]\\ & \propto {\mathbb{E}}_{{\mathcal{D}}_2}[\text{sign}(\delta (i))]\\ & ={\mathbb{E}}_{{\mathcal{D}}_2}[{▽}_Q{\mathcal{L}}_{{\text{L}}_1}(\delta (i))]\end{array}$$ 这意味着 “使用优先采样重放的 $L_1$ 损失” 和 “使用均匀采样重放的的 MSE 损失” 具有相同的期望梯度方向。另外请注意这里第四个等号中的系数 $\frac{{\sum }_j|\delta (i)|}{N}=\frac{{\sum }_{j}pr(j)}{N}$（$pr(i)$ 代表第 $i$ 个样本优先级），该系数是联系均匀分布和优先级分布的桥梁，后面的分析中会经常出现

• Theorem 1：给定大小为 $N$ 的数据集 $\mathcal{B}$，损失 ${\mathcal{L}}_1,{\mathcal{L}}_2$ 和某种优先级为 $pr$ 的优先级分布（即样本 $i$ 被选出的概率为 $\frac{pr(i)}{{\sum }_{j}pr(j)}$），若 ${▽}_Q{\mathcal{L}}_1(\delta (i))=\frac{1}{\lambda }pr(i){▽}_Q{\mathcal{L}}_2(\delta (i))$ 其中 $\lambda =\frac{{\sum }_{j}pr(j)}{N}$，则从 $\mathcal{B}$ 中均匀采样的样本 $i$ 对应的 ${\mathcal{L}}_1(\delta (i))$ 的期望梯度，和从 $\mathcal{B}$ 中按 $pr$ 优先采样的样本 $i$ 对应的 ${\mathcal{L}}_2(\delta (i))$ 的期望梯度相等

  Proof：
  $$\begin{array}{rl}{\mathbb{E}}_{i\sim \mathcal{B}}[{▽}_Q{\mathcal{L}}_1(\delta (i))]& =\frac{1}{N}\sum _i{▽}_Q{\mathcal{L}}_1(\delta (i))\\ & =\frac{1}{N}\sum _i\frac{N}{{\sum }_{j}pr(j)}pr(i){▽}_Q{\mathcal{L}}_2(\delta (i))(假设条件)\\ & =\sum _i\frac{pr(i)}{{\sum }_{j}pr(j)}{▽}_Q{\mathcal{L}}_2(\delta (i))\\ & ={\mathbb{E}}_{i\sim pr}[{▽}_Q{\mathcal{L}}_2(\delta (i))]\end{array}$$ 另一种更好理解的证法是直接把 $\lambda$ 代入，这样有 $${▽}_Q{\mathcal{L}}_1(\delta (i))=\frac{pr(i)}{{\sum }_{j}pr(j)}N{▽}_Q{\mathcal{L}}_2(\delta (i))=\frac{p_{{\mathcal{D}}_2}(i)}{p_{{\mathcal{D}}_1}(i)}{▽}_Q{\mathcal{L}}_2(\delta (i))$$ 发现得到了等式 (1)，由此即可得证

  Theorem 1 是本文的主要结果，它说明：保证 “均匀采样的 ${\mathcal{L}}_1$ 损失” 和 “根据某种优先级方案 $pr$ 采样的 ${\mathcal{L}}_2$ 损失” 具有相同期望梯度的条件是 ${▽}_Q{\mathcal{L}}_1(\delta (i))=\frac{1}{\lambda }pr(i){▽}_Q{\mathcal{L}}_2(\delta (i))$

2.1.2.1 推论 1（构造等期望梯度均匀重放损失 ${\mathcal{L}}_1$ 的方法）

• Corollary 1：若 ${\mathcal{L}}_1(\delta (i))=\frac{1}{\lambda }|pr(i){|}_{\times }{\mathcal{L}}_2(\delta (i))$ for all $i$，其中 $\lambda =\frac{{\sum }_{j}pr(j)}{N}$，$|\cdot {|}_{\times }$ 是停止梯度符号，则 Theorem 1 对任意均匀采样的损失 ${\mathcal{L}}_1$ 和按任意按优先级 $pr$ 非均匀采样的损失 ${\mathcal{L}}_2$ 均成立

  proof：
  $$\begin{array}{rl}{▽}_Q{\mathcal{L}}_1(\delta (i))& ={▽}_Q\frac{1}{\lambda }|pr(i){|}_{\times }{\mathcal{L}}_2(\delta (i))\\ & =\frac{1}{\lambda }pr(i){▽}_Q{\mathcal{L}}_2(\delta (i))\end{array}$$ 满足 Theorem 1 成立条件，得证

• 该推论告诉我们，给定按 $pr$ 优先级的非均匀重放和相应 ${\mathcal{L}}_2$ 损失时，如何构造均匀重放时等期望梯度的损失函数 ${\mathcal{L}}_1$

2.1.2.2 推论 2（构造等期望梯度优先重放优先级 $pr$ 及对应损失函数 $\lambda {\mathcal{L}}_2$ 的方法）

• Corollary 2：若 $\text{sign}({▽}_Q{\mathcal{L}}_1(\delta (i)))=\text{sign}({▽}_Q{\mathcal{L}}_2(\delta (i)))$ 且 $pr(i)=\frac{{▽}_Q{\mathcal{L}}_1(\delta (i))}{{▽}_Q{\mathcal{L}}_2(\delta (i))}$ for all $i$，则 Theorem 1 对任意均匀采样的损失 ${\mathcal{L}}_1$ 和任意按 $pr$ 非均匀采样的损失 $\lambda {\mathcal{L}}_2$ 均成立，其中 $\lambda =\frac{{\sum }_{j}pr(j)}{N}$

  proof：给定 $\text{sign}({▽}_Q{\mathcal{L}}_1(\delta (i)))=\text{sign}({▽}_Q{\mathcal{L}}_2(\delta (i)))$
  $$\begin{array}{rl}\frac{1}{\lambda }pr(i){▽}_Q\lambda {\mathcal{L}}_2(\delta (i))& =\frac{\lambda }{\lambda }\frac{{▽}_Q{\mathcal{L}}_1(\delta (i))}{{▽}_Q{\mathcal{L}}_2(\delta (i))}{▽}_Q{\mathcal{L}}_2(\delta (i))\\ & ={▽}_Q{\mathcal{L}}_1(\delta (i))\end{array}$$ 满足 Theorem 1 成立条件，得证

• 由于采样优先级不能是负的或 0，必有 $\text{sign}(pr(i))=\text{sign}(\frac{{▽}_Q{\mathcal{L}}_1(\delta (i))}{{▽}_Q{\mathcal{L}}_2(\delta (i))})=1$，因此需要满足条件 $\text{sign}({▽}_Q{\mathcal{L}}_1(\delta (i)))=\text{sign}({▽}_Q{\mathcal{L}}_2(\delta (i)))$。通常，所有旨在最小化 $Q$ 输出与给定目标间距离的损失函数都满足此条件

  因为有同样的目标，优化方向是相同的，梯度方向也应大致相同

  这时非均匀采样的作用类似于重要性采样，它对 ${\mathcal{L}}_2$ 做重加权来匹配 ${\mathcal{L}}_1$ 的期望梯度

• 该推论告诉我们，给定按均匀重放对应的 ${\mathcal{L}}_1$ 损失和另一损失函数 ${\mathcal{L}}_2$ 时，如何构造保证期望梯度相等的非均匀重放优先级 $pr$ 及对应损失函数 $\lambda {\mathcal{L}}_2$

  举例来说，当 ${\mathcal{L}}_2$ 是 $L_1$ 损失时，由于其梯度 ${▽}_Q{\mathcal{L}}_{L_1}(\delta (i))=\pm 1$，把 $pr$ 设置为 $pr(i)=|{▽}_Q{\mathcal{L}}_1(\delta (i))|$，就能把均匀采样 ${\mathcal{L}}_1$ 损失转换为优先级采样机制。事实证明，这样做可以减少梯度的方差（2.1.2.1 节 Observation 1）

2.1.3 定理 2（转换为等价的优先重放方案可以减少梯度方差）

2.1.3.1 观察 1（方差减小）

• Observation 1：给定大小为 $N$ 的数据集 $\mathcal{B}$ 和损失函数 ${\mathcal{L}}_1$，样本 $i$ 以优先级 $pr(i)=|{▽}_Q{\mathcal{L}}_1(\delta (i))|$ 进行优先采样，有 $\lambda =\frac{{\sum }_{j}pr(j)}{N}$，则 $\lambda {\mathcal{L}}_{L_1}(\delta (i))$ 的梯度的方差小于等于均匀采样的 ${\mathcal{L}}_1(\delta (i))$ 的梯度的方差

• 这个观察就是说，如果设定 ${\mathcal{L}}_2=L_1$，则对任意均匀重放损失 ${\mathcal{L}}_1$，按推论 2 构造优先重放的优先级 $pr$ 及相应的优先损失 $\lambda {\mathcal{L}}_2$，可以减小 mini-batch 梯度的方差

  该观察主要用来引出定理2，故详细证明不再给出（后面定理2证明之后，可以直接用定理2证明该观察）

2.1.3.2 定理 2（转换为等价的优先重放方案可以减少梯度方差）

• Theorem 2：给定大小为 $N$ 的数据集 $\mathcal{B}$ 和损失函数 ${\mathcal{L}}_1,{\mathcal{L}}_2$，利用 Corollary 2 可以设计出优先级方案 $pr$ 及相应的损失函数 $\lambda {\mathcal{L}}_2$（其中 $\lambda =\frac{{\sum }_{j}pr(j)}{N}$），使得 Theorem 1 成立。当 ${\mathcal{L}}_2={\mathcal{L}}_{L_1}$ 并按 Corollary 2 设计 $pr(i)=|{▽}_Q{\mathcal{L}}_1(\delta (i))|$ 时，${▽}_Q\lambda {\mathcal{L}}_2(\delta (i)$ 的方差在所有具有相同期望梯度的损失函数（及对应的优先级方案）中最小

  Proof：

  1. 考虑优先采样梯度的方差（注意方差公式为 $Var(x)=\mathbb{E}[x^2]-\mathbb{E}[x{]}^2$）
     $$\begin{array}{rl}\mathrm{Var}\left({\nabla }_Q\lambda {\mathcal{L}}_2(\delta (i))\right)& ={\mathbb{E}}_{i\sim pr}\left[{\left({\nabla }_Q\lambda {\mathcal{L}}_2(\delta (i))\right)}^2\right]-{\mathbb{E}}_{i\sim pr}{\left[{\nabla }_Q\lambda {\mathcal{L}}_2(\delta (i))\right]}^2\\ & =\sum _i\frac{pr(i)}{{\sum }_{j}pr(j)}\frac{{\left({\sum }_{j}pr(j)\right)}^2}{N^2}{\left({\nabla }_Q{\mathcal{L}}_2(\delta (i))\right)}^2-X\\ & =\frac{{\sum }_{j}pr(j)}{N^2}\sum _i{\nabla }_Q{\mathcal{L}}_1(\delta (i)){\nabla }_Q{\mathcal{L}}_2(\delta (i))-X\end{array}\text{\hspace{1em}(2)}$$ 其中 $X={\mathbb{E}}_{i\sim \mathcal{B}}[{▽}_Q{\mathcal{L}}_1(\delta (i)){]}^2={\mathbb{E}}_{i\sim pr}[{▽}_Q{\mathcal{L}}_2(\delta (i)){]}^2$ 是无偏期望梯度的平方
  2. 注意 $\text{sign}({▽}_Q{\mathcal{L}}_1(\delta (i)))=\text{sign}({▽}_Q{\mathcal{L}}_2(\delta (i)))$，令 ${\mathcal{L}}_2={\mathcal{L}}_{L_1}$，有 ${▽}_Q{\mathcal{L}}_2(\delta (i))=\pm 1$，则 ${▽}_Q{\mathcal{L}}_1(\delta (i)){▽}_Q{\mathcal{L}}_2(\delta (i))=|{▽}_Q{\mathcal{L}}_1(\delta (i))|$。设 $pr(i)=|{▽}_Q{\mathcal{L}}_1(\delta (i))|$，上式可以进一步简化
     $$\begin{array}{rl}& =\frac{{\sum }_j|{▽}_Q{\mathcal{L}}_1(\delta (j))|}{N^2}\sum _i|{▽}_Q{\mathcal{L}}_1(\delta (i))|-X\\ & =(\frac{{\sum }_j|{▽}_Q{\mathcal{L}}_1(\delta (j))|}{N}{)}^2-X\end{array}\text{\hspace{1em}(3)}$$
  3. 考虑一般情况，${▽}_Q{\mathcal{L}}_2(\delta (i))=f(\delta (i))$，为了保证期望梯度一致，根据 Theorem 1 必须设置为 $pr(i)=\frac{{▽}_Q{\mathcal{L}}_1(\delta (i)}{f(\delta (i))}$，为了计算方差，把这一项带入式 (2)
     $$\begin{array}{rl}& =\frac{{\sum }_{j}pr(j)}{N^2}\sum _i{\nabla }_Q{\mathcal{L}}_1(\delta (i)){\nabla }_Q{\mathcal{L}}_2(\delta (i))-X\\ & =\frac{{\sum }_j{\nabla }_Q{\mathcal{L}}_1(\delta (j))/f(\delta (j))}{N^2}\sum _i{\nabla }_Q{\mathcal{L}}_1(\delta (i))f(\delta (i))-X.\end{array}\text{\hspace{1em}(4)}$$ 然后选择（这个构造不知道怎么想出来的）
     $$u_j=\frac{\sqrt{\frac{{▽}_Q{\mathcal{L}}_1(\delta (i)}{f(\delta (i))}}}{\sqrt{N}},v_j=\frac{\sqrt{{▽}_Q{\mathcal{L}}_1(\delta (i)f(\delta (i))}}{\sqrt{N}}$$
     根据 Cauchy-Schwarz 不等式： $(xx,yy{)}^2\le (xx,xx)(yy,yy)$ ，即 $({\sum }_i{a}_i{b}_i{)}^2\le {\sum }_i{a}^2{\sum }_i{b}^2$ ，有
     $${\left(\frac{{\sum }_j\left|{\nabla }_Q{\mathcal{L}}_1(\delta (j))\right|}{N}\right)}^2\le \frac{{\sum }_j{\nabla }_Q{\mathcal{L}}_1(\delta (j))/f(\delta (j))}{N^2}\sum _i{\nabla }_Q{\mathcal{L}}_1(\delta (i))f(\delta (i))\text{\hspace{1em}(5)}$$ 当 $f(\delta (j))=\pm c$ 常数时等号成立。因此当 ${\mathcal{L}}_2$ 是 $L_1$ 损失时，$\lambda {\mathcal{L}}_2$ 的方差最小化

• 定理 2 说明：对于均匀重放情况下的任何损失函数 ${\mathcal{L}}_1$，都可以在保持期望梯度不变的情况下，将其转换为优先级重放方案 $pr(i)=|{▽}_Q{\mathcal{L}}_1(\delta (i))|$ 下的 $\lambda {\mathcal{L}}_{L_1}$ 损失，以减少梯度的方差

2.1.4 定理 3（广义 Huber 损失 + PER对应的均匀重放下的等效损失函数）

• 为了分析 PER 的特性，可以通过 Theorem 1 导出其对应的均匀采样情况下的等效损失函数进行分析。原始 PER 论文中使用的是和 DQN 相同的 Huber 损失，先分析广义 PER 结合损失 $\frac{1}{\tau }|\delta (i){|}^{\tau }(\tau >0)$ 一起使用时的一般结果

2.1.4.1 定理 3（广义 Huber 损失 + PER对应的均匀重放下的等效损失函数）

• Theorem 3 ：当与 PER 一起使用时，损失 $\frac{1}{\tau }|\delta (i){|}^{\tau }$（$\tau >0$） 的期望梯度等于使用均匀采样重放时以下损失的期望梯度
  $${\mathcal{L}}_{\text{PER}}^{\tau }(\delta (i))=\frac{\eta N}{\tau +\alpha -\alpha \beta }|\delta (i){|}^{\tau +\alpha -\alpha \beta },\eta =\frac{{\min }_j|\delta (j){|}^{\alpha \beta }}{{\sum }_j|\delta (j){|}^{\alpha }}\text{\hspace{1em}(6)}$$

  proof：根据 PER 定义，有
  $$p(i)=\frac{|\delta (i){|}^{\alpha }+ϵ}{{\sum }_j(|\delta (j){|}^{\alpha }+ϵ)},w(i)=\frac{(\frac{1}{N}\cdot \frac{1}{p(i)}{)}^{\beta }}{{\max }_j(\frac{1}{N}\cdot \frac{1}{p(j)}{)}^{\beta }}$$ 其中 $\alpha \in (0,1],\beta \in [0,1]$。下面考察使用 PER 时损失函数 $\frac{1}{\tau }|\delta (i){|}^{\tau }$ 的期望梯度
  $$\begin{array}{rl}{\mathbb{E}}_{i\sim \mathrm{PER}}\left[{\nabla }_{Q}w(i)\frac{1}{\tau }|\delta (i){|}^{\tau }\right]& =\sum _{i\in \mathcal{B}}w(i)p(i){\nabla }_Q\frac{1}{\tau }|\delta (i){|}^{\tau }\\ & =\sum _{i\in \mathcal{B}}\frac{{\left(\frac{1}{N}\cdot \frac{1}{p(i)}\right)}^{\beta }}{{\max }_{j\in \mathcal{B}}{\left(\frac{1}{N}\cdot \frac{1}{p(j)}\right)}^{\beta }}\frac{|\delta (i){|}^{\alpha }}{{\sum }_{j\in \mathcal{B}}|\delta (j){|}^{\alpha }}\mathrm{sign}(\delta (i))|\delta (i){|}^{\tau -1}\\ & =\frac{1}{{\max }_{j\in \mathcal{B}}\frac{1}{|\delta (j){|}^{\alpha \beta }}{\sum }_{j\in \mathcal{B}}|\delta (j){|}^{\alpha }}\sum _{i\in \mathcal{B}}\frac{|\delta (i){|}^{\tau +\alpha -1}\mathrm{sign}(\delta (i))}{|\delta (i){|}^{\alpha \beta }}\\ & =\eta \sum _{i\in \mathcal{B}}\mathrm{sign}(\delta (i))|\delta (i){|}^{\tau +\alpha -\alpha \beta -1}\text{. }\end{array}\text{\hspace{1em}(7)}$$ 现在考虑 ${\mathcal{L}}_{\text{PER}}^{\tau }(\delta (i))$ 的期望梯度
  $$\begin{array}{rl}{\mathbb{E}}_{i\sim \mathcal{B}}\left[{\nabla }_Q{\mathcal{L}}_{\mathrm{PER}}^{\tau }(\delta (i))\right]& =\frac{1}{N}\sum _{i\in \mathcal{B}}\frac{\eta N}{\tau +\alpha -\alpha \beta }{\nabla }_Q|\delta (i){|}^{\tau +\alpha -\alpha \beta }\\ & =\eta \sum _{i\in \mathcal{B}}\mathrm{sign}(\delta (i))|\delta (i){|}^{\tau +\alpha -\alpha \beta -1}\end{array}\text{\hspace{1em}(8)}$$ 二者相等，证毕

2.1.4.2 推论 3（Huber 损失 + PER对应的均匀重放下的等效损失函数）

• 考虑 PER 原文，当与 PER 一起使用时，传统 DQN 使用的 Huber 损失的期望梯度等于使用均匀采样重放时以下损失的期望梯度
  $${\mathcal{L}}_{\mathrm{PER}}^{\text{Huber }}(\delta (i))=\frac{\eta N}{\tau +\alpha -\alpha \beta }|\delta (i){|}^{\tau +\alpha -\alpha \beta },\tau =\{\begin{array}{ll}2& \text{ if }|\delta (i)|\le 1,\\ 1& \text{ otherwise },\end{array}\eta =\frac{{\min }_j|\delta (j){|}^{\alpha \beta }}{{\sum }_j|\delta (j){|}^{\alpha }}\text{\hspace{1em}(9)}$$ 其实就是把 $\tau =1$ 和 $\tau =2$ 分别代入等式 (6)

• 为了理解 Corollary 3 的意义及其对 PER 目标的描述，首先考虑以下两个关于 MSE 和 $L_1$ 的观察现象

  1. Observation 2 (优化 MSE 损失得到的估计结果为真实样本的均值，无偏)：$\mathcal{B}(s,a)\subset \mathcal{B}$ 是包含 $(s,a)$ 的 transition 的子集，$\delta (i)=Q(i)-y(i)$，若 ${▽}_Q{\mathbb{E}}_{i\sim \mathcal{B}(s,a)}[0.5\delta (i{)}^2]=0$，则 $$Q(s,a)={\text{mean}}_{i\in \mathcal{B}(s,a)}y(i)$$

     proof:
     $$\begin{array}{rl}& {\mathbb{E}}_{i\sim \mathcal{B}(s,a)}\left[{\nabla }_{Q}0.5|\delta (i){|}^2\right]=0\\ \Rightarrow & {\mathbb{E}}_{i\sim \mathcal{B}(s,a)}[\delta (i)]=0\\ \Rightarrow & \frac{1}{N}\sum _{i\in \mathcal{B}(s,a)}Q(s,a)-y(i)=0\\ \Rightarrow & Q(s,a)-\frac{2c}{N}\sum _{i\in \mathcal{B}(s,a)}y(i)=0\\ \Rightarrow & Q(s,a)=\frac{1}{N}\sum _{i\in \mathcal{B}(s,a)}y(i).\end{array}$$

  2. Observation 3 (优化 $L_1$ 损失得到的估计结果为真实样本的中位数，有偏但是更鲁棒)：$\mathcal{B}(s,a)\subset \mathcal{B}$ 是包含 $(s,a)$ 的 transition 的子集，$\delta (i)=Q(i)-y(i)$，若 ${▽}_Q{\mathbb{E}}_{i\sim \mathcal{B}(s,a)}[|\delta (i)|]=0$，则 $$Q(s,a)={\text{median}}_{i\in \mathcal{B}(s,a)}y(i)$$

     proof:
     E i ∼ B ( s , a ) [ ∇ Q ∣ δ ( i ) ∣ ] = 0 ⇒ E i ∼ B ( s , a ) [ sign ⁡ ( δ ( i ) ) ] = 0 ⇒ ∑ i ∈ B ( s , a ) 1 { Q ( s , a ) ≤ y ( i ) } = ∑ i ∈ B ( s , a ) 1 { Q ( s , a ) ≥ y ( i ) } ⇒ Q ( s , a ) = median ⁡ i ∈ B ( s , a ) y ( i ) . \begin{aligned} & \mathbb{E}_{i \sim \mathcal{B}(s, a)}\left[\nabla_{Q}|\delta(i)|\right]=0 \\ \Rightarrow & \mathbb{E}_{i \sim \mathcal{B}(s, a)}[\operatorname{sign}(\delta(i))]=0 \\ \Rightarrow & \sum_{i \in \mathcal{B}(s, a)} \mathbb{1}\{Q(s, a) \leq y(i)\}=\sum_{i \in \mathcal{B}(s, a)} \mathbb{1}\{Q(s, a) \geq y(i)\} \\ \Rightarrow & Q(s, a)=\operatorname{median}_{i \in \mathcal{B}(s, a)} y(i) . \end{aligned} ⇒⇒⇒​Ei∼B(s,a)​[∇Q​∣δ(i)∣]=0Ei∼B(s,a)​[sign(δ(i))]=0i∈B(s,a)∑​1{Q(s,a)≤y(i)}=i∈B(s,a)∑​1{Q(s,a)≥y(i)}Q(s,a)=mediani∈B(s,a)​y(i).​

• 基于 Corollary 3 和上述观察，可以做以下陈述

  1. 若 $\tau +\alpha -\alpha \beta \ne 2$（就是不用 MSE 损失），则 PER 的目标是有偏的（估计值的期望和目标期望不等），Observation 2 的含义是通过最小化 MSE 可以得到一个感兴趣目标的估计值，期望 TD target 是 $y(i)=r+\gamma {\mathbb{E}}_{s^{\prime },a^{\prime }}[Q(s^{\prime },a^{\prime })]$。因此，使用 PER 优化损失 $|\delta (i){|}^{\tau }$，且 $\tau +\alpha -\alpha \beta \ne 2$ 将得到对目标的有偏估计
  2. 并非所有的估计偏差都是等价的，从 Observation 3 可以看出，最小化 $L_1$ 损失得到目标的中位数而非期望，考虑到强化学习中函数估计和 bootstrap 的作用，人们可能认为中位数是一个合理的估计，因为它更鲁棒
  3. 存在这种可能性：介于 MSE 和 $L_1$ 之间的损失函数可以在 “鲁棒性” 和 “正确性” 之间取得平衡。从等式 (6) 可见
     1. PER 和 $L_1$ 损失结合时，因为 $\alpha \in (0,1],\beta \in [0,1]$，损失中 $|\delta (i)|$ 的幂次 $1+\alpha -\alpha \beta \in [1,2]$，相当于进行了上述平衡
     2. PER 和 MSE 损失结合时，若 $\beta <1$，则当 $\alpha \in (0,1]$ 时损失中 $|\delta (i)|$ 的幂次 $2+\alpha -\alpha \beta >2$，这意味着虽然 MSE 单独使用时通过均值来最小化损失（最小二乘法），但当与PER结合时，损失将通过一些有利于异常值的表达式最小化。这种偏差解释了在基于 MSE 的连续控制任务标准算法中引入 PER 时性能不佳的原因
  4. 重要性采样比可以省去。PER 原文中使用重要性采样比（IS）对损失函数进行重新加权，以减少优先顺序引入的梯度期望偏差，我们知道若超参数 $\beta =1$，则带有 PER 的 MSE 是无偏的（Observation 2），PER 原文也提到了这一点。但更重要的是，上述理论推导是带着 IS 进行的，所以即使不使用 IS（$\beta =0$），得到的结果中也已经消除了因为非均匀重放引入的偏差

2.2 提出方法

• 首先捋一捋我们中理论分析中得到结论

  1. 根据定理 2，期望梯度相等的情况下，优先级重放配合 $\lambda {\mathcal{L}}_{L_1}$ 损失可以减小梯度方差
  2. PER 的问题在于将优先级重放结合 MSE 损失使用，导致转换为均匀损失后损失函数中 $|\delta (i)|$ 的幂次超过 2，损失优化过程中会过于偏向异常点（这和最小二乘法受离群点影响很大是一个道理）；原始 DQN 中的将均匀重放结合 MSE 损失使用，这时的估计结果是无偏的
  3. 根据推论 3 的分析，当转换成均匀重放损失时，损失中 $|\delta (i)|$ 的幂次应该介于 1（对应 $L_1$ 损失）到 2（对应 MSE 损失）之间，从而在 “鲁棒性” 和 “正确性” 之间取得平衡

  基于以上结论，作者首先设计了一种优先级采样方案，称为 “损失调整优先经验重放（Loss-Adjusted Prioritized Experience Replay, LAP） ”，并进一步利用推论 1 等到了等价的均匀重放损失 “优先级近似损失（Prioritized Approximation Loss, PAL）”

2.2.1 优先级重放方法 LAP

• 为了结合 2.2 节中的两个结论，作者的思路是：像定理 2 中那样设计损失函数 ${\mathcal{L}}_2={\mathcal{L}}_{L_1}$，并把重放优先级设计为 $|\delta (i){|}^{\alpha },\alpha \in (0,1]$，这样根据推论 1 转换得到的等期望梯度均匀重放损失为
  $${\mathcal{L}}_1(\delta (i))=\frac{1}{\lambda }|pr(i){|}_{\times }{\mathcal{L}}_2(\delta (i))=\frac{1}{\lambda }||\delta (i){|}^{\alpha }{|}_{\times }|\delta (i)|$$ 其中 $|\cdot {|}_{\times }$ 是停止梯度符号，可见损失中 $|\delta (i)|$ 的幂次介于 1 到 2 之间满足了

  注：前文分析中，对于优先级重放部分都是说的损失为 $\lambda {\mathcal{L}}_2$，这里没提 $\lambda$ 让我很困惑，我猜想这是因为把前文分析中所有 ${\mathcal{L}}_1$ 和 $\lambda {\mathcal{L}}_2$ 都换成 $\frac{1}{\lambda }{\mathcal{L}}_1$ 和 ${\mathcal{L}}_2$ 不影响结论，因为只有这样这里才能保持逻辑一致。显然对于 Corollary 2 这样替换没问题，但最关键的 Theorem 2 是不是这样我没证

• 在实践中 $L_1$ 损失不是最佳的，因为它每次更新都步进一个固定大小的步长（梯度为 $\pm 1$），如果学习率太高，可能会经常超出目标（overstepping the target），导致优化过程出现很多震荡。因此作者采用了常用的 $k=1$ 的 Huber 损失，当误差低于阈值 1 时，Huber 损失从 $L_1$ 转换为 MSE，这样就能在 $\delta (i)$ 接近 0 时适当地缩放梯度。为了消除对优先级重放结合 MSE 导致的偏差，在这个区间内改用均匀采样重放，这可以通过优先级方案 $pr(i)=\max (|\delta (i){|}^{\alpha },1)$ 实现（低优先级的样本被剪裁为优先级至少为 1，这样就变成均匀采样了）。这样修改后就得到 LAP 算法，它可以用以下非均匀采样加 Huber 损失来描述
  $$p(i)=\frac{\max \left(|\delta (i){|}^{\alpha },1\right)}{{\sum }_j\max \left(|\delta (j){|}^{\alpha },1\right)},{\mathcal{L}}_{\text{Huber }}(\delta (i))=\{\begin{array}{ll}0.5\delta (i{)}^2& \text{ if }|\delta (i)|\le 1\\ |\delta (i)|& \text{ otherwise }\end{array}$$

  1. $|\delta (i)|>1$ 时：$L_1$ 损失，优先级 $pr(i)=|\delta (i){|}^{\alpha }$
  2. $|\delta (i)|\le 1$ 时：MSE损失，均匀采样重放

  在纠正异常偏差的基础上，$\max (|\delta (i){|}^{\alpha },1)$ 这个剪裁还降低了 $p(i)\approx 0$ 时发生 dead transition 的可能，因此不再需要 PER 中的超参数 $ϵ$，此外，LAP 保持了定理 2 说明的方差减少特性，因为它在所有误差较大的样本上使用 $L_1$ 损失

2.2.2 均匀重放方法 PAL

• 按理论分析部分的思路，作者将 LAP 转换为均匀重放下具有相等期望梯度的镜像损失函数，称其为 PAL，具体可由 Corollary 1 推出，即 ${\mathcal{L}}_{\text{PLA}}(\delta (i))=\frac{1}{\lambda }|pr(i){|}_{\times }{\mathcal{L}}_{\text{Huber}}(\delta (i))$，结果如下
  $${\mathcal{L}}_{\mathrm{PAL}}(\delta (i))=\frac{1}{\lambda }\{\begin{array}{ll}0.5\delta (i{)}^2& \text{ if }|\delta (i)|\le 1,\\ \frac{|\delta (i){|}^{1+\alpha }}{1+\alpha }& \text{ otherwise, }\end{array}\lambda =\frac{{\sum }_j\max \left(|\delta (j){|}^{\alpha },1\right)}{N}.$$

  1. $|\delta (i)|\le 1$ 时，$pr(i)=1$，${\mathcal{L}}_{\text{PLA}}(\delta (i))=\frac{1}{\lambda }\cdot 1\cdot 0.5\delta (i{)}^2=\frac{1}{\lambda }\cdot 0.5\delta (i{)}^2$
  2. $|\delta (i)|>1$ 时，$pr(i)=|\delta (i){|}^{\alpha }$，${\mathcal{L}}_{\text{PLA}}(\delta (i))=\frac{1}{\lambda }||\delta (i){|}^{\alpha }{|}_{\times }|\delta (i)|$，对它求梯度是$${▽}_Q{\mathcal{L}}_{\text{PLA}}=\frac{1}{\lambda }|\delta (i){|}^{\alpha }{▽}_Q|\delta (i)|$$ 为了表示和计算简便，这里停止梯度的操作改为等效的允许梯度操作，即 $${▽}_Q\frac{1}{\lambda }\frac{|\delta (i){|}^{1+\alpha }}{1+\alpha }=\frac{1}{\lambda }|\delta (i){|}^{\alpha }{▽}_Q|\delta (i)|$$

• Observation 4 (LAP 和 PAL 具有相同的期望梯度)

  Proof. From Corollary 1 we have:
  $$\begin{array}{rl}{\mathcal{L}}_{\text{PAL }}(\delta (i))& =\frac{1}{\lambda }|pr(i){|}_{\times }{\mathcal{L}}_{\text{Huber }}(\delta (i))\\ & =\frac{1}{\lambda }{\left|\max \left(|\delta (i){|}^{\alpha },1\right)\right|}_{\times }{\mathcal{L}}_{\text{Huber }}(\delta (i))\\ & =\frac{1}{\lambda }{\left|\max \left(|\delta (i){|}^{\alpha },1\right)\right|}_{\times }\{\begin{array}{ll}0.5\delta (i{)}^2& \text{ if }|\delta (i)|\le 1,\\ |\delta (i)|& \text{ otherwise, }\end{array}\\ & =\frac{1}{\lambda }\{\begin{array}{ll}0.5\delta (i{)}^2& \text{ if }|\delta (i)|\le 1,\\ \frac{|\delta (i){|}^{1+\alpha }}{1+\alpha }& \text{ otherwise, }\end{array}\end{array}$$ where
  $$\lambda =\frac{{\sum }_{j}pr(j)}{N}=\frac{{\sum }_j\max \left(|\delta (j){|}^{\alpha },1\right)}{N}.$$ Then by Corollary 1, LAP and PAL have the same expected gradient.

  注意到，PAL 定义的损失的幂次永远不会大于2，这意味着 PER 的异常值偏差已被消除。在那些不看重优先重放带来的方差减少的优势的领域，PAL 应当和 LAP 具有相似的性能，且实现更简便

3. 实验结果

• 作者将 LAP/PAL 与 TD3 和 SAC 方法结合，在 MuJoCo 连续控制任务上测试结果如下
  发现增加 LAP/PAL 后 TD3 的性能得到提升；增加 PER 时由于 PER + MSE 引入偏差导致性能下降；LAP 和 PAL 没有太大差别，说明这时真的去做非均匀重放几乎没有什么好处（唯一的优势是减小方差，但是强化学习往往不是很看重这一点）

• 作者将 LAP/PAL 与 DDQN 方法结合，在 Atari 任务上测试结果如下
  
  发现增加 LAP/PAL 后 DDQN 的性能得到提升；增加 LAP 后性能超过 PER，但是增加 PAL 后不及 PER，这可能是因为 Atria 环境都是需要较长轨迹且奖励稀疏的，这时还是需要真的去做优先重放，使指导更稠密

• 此外，作者还在 MuJoCo 环境结合 TD3 对 PAL 进行了消融实验，注意到 $\alpha =0$ 时 PAL 就是一个用 $\frac{1}{\lambda }$ 放缩过的 Huber 损失，实验结果发现完全版本的 PAL 实现了最高性能；去掉 $\frac{1}{\lambda }$ 的 PAL 次之；在 Huber 损失上增加 $\frac{1}{\lambda }$ 可以显著提升性能，这说明性能提升主要来自对期望梯度的调整

4. 总结

• 本文主要贡献在于
  1. 说明了非均匀重放和均匀重放之间的等价性，并给出了转换方法。这一点非常重要，从转换后的均匀重放损失函数入手设计新的经验重放方法更加直观简便，本文之后很多关于经验重放的文章都是从这个角度做的
  2. 建立了非均匀经验重放技术的理论分析基础，类似 PER，在此之前很多经验重放方法都是启发式方法，都可以用本文方法进行分析和优化
  3. 说明了 PER 用于连续控制任务导致性能下降的原因是 PER 结合 MSE 损失使用时梯度会偏向异常值，并且设计了两个改进方法
  4. 一个好的非均匀重放方法，其等期望梯度的均匀重放损失关于 $|\delta (i)|$ 的幂次应该在 1 到 2 之间，从而在 “鲁棒性” 和 “正确性” 之间取得平衡（直接设计均匀重放下价值估计损失时这一点同样适用）
  5. 真正去做非均匀重放的主要优势在于可以减小梯度的方差，但这个优势往往并不重要；稀疏奖励环境下非均匀重放的优势可能是最明显的，因为转换后的等价损失函数依靠重要度采样平衡期望梯度方向（这类似极大似然估计），在样本量少的情况下很不准，而稀疏奖励环境下有效样本量就很少，这时还是得靠真正去做非均匀采样来提升性能
• 本文的分析全部建立在 Bellman Equation 基础上，能否对 Bellman Optimal Equation 建立类似的分析框架