离线强化学习-4 DP-based方法

概述

上两篇文章主要探讨了Importance sampling 和 Duality-based这类方法的主要数学原理，并推导出要求梯度的目标。
重要性采样：方差很大
Duality：缓解了方差大的问题，但其目标梯度的更新过程仍需要对值函数进行拟合，但其对于有专家数据而言是一类非常新颖的方法。
下面要介绍Dynamics-Programming based的Offline RL方法，主要针对的对象就是值函数。
在一个Offline Datasets中拟合值函数更多是一个Supervised Learning的学习范式，所以会遇到OOD（Out-of-distribution）的外推问题。
抽象地说关于OOD的方法，都可以在Offline RL setting 上进行尝试。（当然性能影响最大的肯定是数据集，毕竟监督学习90%的时间和精力都要放在数据上）😉
具体地说就是解决distribution shift问题的方法都可以在Offline RL setting上进行尝试。

---

符号	含义
$f(s,a)$	组成Q值$Q(s,a)$的线性特征
${\pi }_{\beta }(a\mid s)$	行为策略behavior policy，一般认为是收集离线数据集的策略

一、线性结构的值函数分析

1.1 基础概述

其实这个对于理解而言是非常有用的，对于一个具体的$(s,a)$，提取一个$d$维度特征$f(s,a)\in {\mathbb{R}}^d$，将$|\mathcal{S}|\times |\mathcal{A}|$个$(s,a)$所对应的特征表示为$\mathbf{F}\in {\mathbb{R}}^{|\mathcal{S}|\times |\mathcal{A}|\times d}$。只是线性结构分析直接假设$f(s,a)$已知，而不是通过神经网络这个特征提取器学出来。

建模一个具体的Q-值为$Q_{\varphi }(s,a)=f(s,a{)}^{\top }\varphi$，一个Q-Table为${\vec{Q}}_{\varphi }=\mathbf{F}\mathbf{\varphi }$，因此Bellman Operator操作这个Q-Table为${\vec{Q}}^{\pi }={\mathcal{B}}^{\pi }{\vec{Q}}^{\pi }$，唯一的未知是参数$\varphi$。

重点解释一下${\mathcal{B}}^{\pi }Q(s,a)=r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim T(\cdot |s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}[Q(s^{\prime },a^{\prime })]=r(s,a)+\gamma P^{\pi }Q(s,a)$：对于一个具体$(s,a)$的Q值，它的Target Q值为$r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim T(\cdot |s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}[Q(s^{\prime },a^{\prime })]$.

所以已知$\mathbf{F}$，线性结构建模Q函数：$Q_{\varphi }(s,a)=f(s,a{)}^{\top }\varphi$，Q-Table的角度看有：${\vec{Q}}_{\varphi }=\mathbf{F}\mathbf{\varphi }$

1.2 Bellman Residual minimization

目的：希望$Q_{\varphi }(s,a)\to Q^{\pi }(s,a)$，需要满足Bellman Operator的约束：
$$\begin{array}{rl}{\vec{Q}}^{\pi }& ={\mathcal{B}}^{\pi }{\vec{Q}}^{\pi }=\vec{R}+\gamma P^{\pi }\mathbf{F}\mathbf{\varphi }\\ & ⟹\mathbf{F}\mathbf{\varphi }\approx \vec{R}+\gamma P^{\pi }\mathbf{F}\mathbf{\varphi }\\ & ⟹\vec{R}\approx (\mathbf{F}-\gamma P^{\pi }\mathbf{F})\mathbf{\varphi }\end{array}$$

优化问题为（目标的平方形式默认假设选择了${\ell }_2$距离）：

$$\begin{array}{r}\underset{\varphi }{\min }({\mathcal{B}}^{\pi }{\vec{Q}}_{\varphi }-{\vec{Q}}_{\varphi }{)}^2\end{array}$$

直接求解的话，参数$\varphi$为$$\mathbf{\varphi }=((\mathbf{F}-\gamma P^{\pi }\mathbf{F}{)}^{\top }(\mathbf{F}-\gamma P^{\pi }\mathbf{F}){)}^{-1}(\mathbf{F}-\gamma P^{\pi }\mathbf{F})\vec{R}$$

1.3 Least-squares fixed point approximation

上一小节的Bellman Residual Minimization是直接求解。这里采用fixed point迭代的方式。即：初始化一个Q-Table ${\vec{Q}}_0=\mathbf{F}{\mathbf{\varphi }}_0$来逼近${\vec{Q}}^{\pi }$：

$${\vec{Q}}_{k+1}\leftarrow {\mathcal{B}}^{\pi }{\vec{Q}}_k$$

当$k\to \infty$，有${\vec{Q}}_k\to {\vec{Q}}^{\pi }$;（因为有${\mathcal{B}}^{\pi }$在）；

展开理解一波：（记住$\mathbf{F}$假设是人为设计好的特征，是已知的)
$$\mathbf{F}{\mathbf{\varphi }}_{\mathbf{k}+1}\leftarrow {\mathcal{B}}^{\pi }\mathbf{F}{\mathbf{\varphi }}_{\mathbf{k}}$$

$\mathbf{F}$表征了一个特征空间，${\mathbf{\varphi }}_{\mathbf{k}}$象征着该空间的一个坐标点，然后${\mathcal{B}}^{\pi }$是一个operator，操作特征空间$\mathbf{F}$中的一个点${\mathbf{\varphi }}_{\mathbf{k}}$到”同一个“特征空间$\mathbf{F}$中的另一个点${\mathbf{\varphi }}_{\mathbf{k}+1}$。

问题来了：谁说${\mathcal{B}}^{\pi }$这个operator的变换，能确保特征空间$\mathbf{F}$不变？
所以，要维持这个不变性，得学一个特征不变的子空间$\Omega$才行即：
$$\mathbf{F}{\mathbf{\varphi }}_{\mathbf{k}+1}=\Omega {\mathcal{B}}^{\pi }\mathbf{F}{\mathbf{\varphi }}_{\mathbf{k}}$$

那这个$\Omega$长什么样？嗯，套进去${\ell }_2$距离的目标，最小化求出来：
$$\underset{\Omega }{\min }(\mathbf{F}{\mathbf{\varphi }}_{\mathbf{k}+1}-\Omega {\mathcal{B}}^{\pi }\mathbf{F}{\mathbf{\varphi }}_{\mathbf{k}}{)}^2$$

所以 $\Omega =\mathbf{F}({\mathbf{F}}^{\top }\mathbf{F}{)}^{-1}{\mathbf{F}}^{\top }$

因此参数迭代更新的公式为：$${\mathbf{\varphi }}_{\mathbf{k}+1}=({\mathbf{F}}^{\top }\mathbf{F}{)}^{-1}{\mathbf{F}}^{\top }(\vec{R}+\gamma P^{\pi }\mathbf{F}{\mathbf{\varphi }}_{\mathbf{k}})$$

1.4 总结

这能帮助我们理解什么呢？

1. 策略真实的Q函数$Q^{\pi }(s,a)$，人为设计的特征空间$\mathbf{F}$难以cover到，换句话说，空间没有一个点$\mathbf{\varphi }$能表示真实的Q函数值，因为特征空间的supports不足，换句话说特征空间的结构容量小。
2. 需要拟合真实的Q(s,a)有两要素，一个是supports（见过的(s,a)对，见完全没？）另一个是Q值（对于见过的(s,a)，预测的Q值准确吗？）

Offline RL的评估环境：在静态数据集 $\mathcal{D}$ 上训练一个learned policy，希望它在真实测试环境上表现得更好。（所以训练的效果不一定能反映测试的效果，根据OOD（Out-of-distribution）的理论，一取决于数据集的sufficient coverage，二取决于训练环境中提取到的invariance即learned policy能否泛化到测试环境）

二、Offline RL via Dynamic Programming

Offline主要问题：在一个假设用${\pi }_{\beta }(a|s)$收集的静态数据集 D = { ( s , a , r , s ′ ) } i = 1 n \mathcal D=\{(s,a,r,s')\}_{i=1}^n D={(s,a,r,s′)}i=1n​中，要得到当前策略$\pi$的Q值$Q^{\pi }(s,a)$，其Target Q值$r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim T(\cdot |s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}[Q(s^{\prime },a^{\prime })]$在Offline的计算中$a^{\prime }\sim \pi (\cdot |s^{\prime })$这一步明显是有问题的。

评估$\mathcal{D}$中的一个样本(s,a)的Q值$Q^{\pi }(s,a)$时，用了当前策略$\pi (\cdot |s^{\prime })$的期望算Q值，期望就意味着会取到在$\mathcal{D}$中没有的动作值$a^{\prime \prime }$，即$Q(s^{\prime },a^{\prime \prime })$的估计会严重偏差！为啥？因为是Offline 的数据集，所以Q值的拟合本应该是跟着数据集$\mathcal{D}$进行拟合的，但更新的目标Q值却会出现out-of-distribution action。

2.1 policy constraint methods

基本想法：约束target Q value 即$r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim T(\cdot |s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}[Q(s^{\prime },a^{\prime })]$中选择$a^{\prime }$的方式与behavior distribution ${\pi }_{\beta }(a^{\prime }|s^{\prime })$差不多

$$\begin{array}{l}\text{policy evaluation : }{\hat{Q}}_{k+1}^{\pi }\leftarrow \arg {\min }_Q{\mathbb{E}}_{\left(\mathbf{s},\mathbf{a},{\mathbf{s}}^{\prime }\right)\sim \mathcal{D}}\left[{\left(Q(\mathbf{s},\mathbf{a})-\left(r(\mathbf{s},\mathbf{a})+\gamma {\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_k\left({\mathbf{a}}^{\prime }\mid {\mathbf{s}}^{\prime }\right)}\left[{\hat{Q}}_k^{\pi }\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)\right]\right)\right)}^2\right]\\ \text{policy improvement : }{\pi }_{k+1}\leftarrow \arg {\max }_{\pi }{\mathbb{E}}_{\mathbf{s}\sim \mathcal{D}}\left[{\mathbb{E}}_{\mathbf{a}\sim \pi (\mathbf{a}\mid \mathbf{s})}\left[{\hat{Q}}_{k+1}^{\pi }(\mathbf{s},\mathbf{a})\right]\right]\text{ s.t. }D\left(\pi ,{\pi }_{\beta }\right)\le ϵ\end{array}$$

• 细化一下：
• 1. 实际问题用$\mathcal{D}$中的样本进行Policy evaluation学习评估策略$\pi$的Q值$Q^{\pi }(s,a)$
• 2. 用学习到的$Q^{\pi }(s,a)$，针对数据集中的状态$s\sim d^{\mathcal{D}}(s)$进行Policy Improvement，更新策略
• 3. 为了实现基本想法，加了个policy 约束即$D\left(\pi ,{\pi }_{\beta }\right)\le ϵ$
• 4. 这个约束涉及到分布的bound，因为要选择合适的probability metric来定义两个action distribution（行为策略&当前策略）之间的“分布距离”
• 5. 选择好probability metric后，进而得思考实现这个约束bound的具体方式

---

首先是可选择的probability metric：

• f-divergence
  距离定义：$$D_f\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)={\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s})}\left[f\left(\frac{\pi (\mathbf{a}\mid \mathbf{s})}{{\pi }_{\beta }(\mathbf{a}\mid \mathbf{s})}\right)\right]$$距离该目标的对偶形式（变分形式）：$$D_f\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)=\underset{x:S\times A\to \mathbb{R}}{\max }{\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s})}[x(\mathbf{s},\mathbf{a})]-{\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_{\beta }(\cdot \mid \mathbf{s})}\left[f^{\ast }\left(x\left(\mathbf{s},{\mathbf{a}}^{\prime }\right)\right)\right]$$
• Integral probability metric（IPM）
  IPM距离的对偶形式：
  $$D_{\Phi }\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)=\underset{\varphi \in \Phi ,\varphi :S\times A\to \mathbb{R}}{\sup }\left|{\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s})}[\varphi (\mathbf{s},\mathbf{a})]-{\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_{\beta }(\cdot \mid \mathbf{s})}\left[\varphi \left(\mathbf{s},{\mathbf{a}}^{\prime }\right)\right]\right|$$

当$\Phi$为Hilbert norm定义的RKHS函数空间时，IPM变为maximum mean discrepancy（MMD）距离，其中$k$为kernel：
$$\begin{array}{rl}{\mathrm{MMD}}^2\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)=& {\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s}),{\mathbf{a}}^{\prime }\sim \pi (\cdot \mid \mathbf{s})}\left[k\left(\mathbf{a},{\mathbf{a}}^{\prime }\right)\right]-2{\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s}),{\mathbf{a}}^{\prime }\sim {\pi }_{\beta }(\cdot \mid \mathbf{s})}\left[k\left(\mathbf{a},{\mathbf{a}}^{\prime }\right)\right]+{\mathbb{E}}_{\mathbf{a}\sim {\pi }_{\beta }(\cdot \mid \mathbf{s}),{\mathbf{a}}^{\prime }\sim {\pi }_{\beta }(\cdot \mid \mathbf{s})}\left[k\left(\mathbf{a},{\mathbf{a}}^{\prime }\right)\right]\end{array}$$

当$\Phi$为一个单位的Lipschitz常数定义的函数空间时，IPM变为Earth-mover distance（Wasserstein distance）距离，其对偶形式为：
$$W_1\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)=\underset{f,\Vert f{\Vert }_L\le 1}{\sup }\left|{\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s})}[f(\mathbf{a})]-{\mathbb{E}}_{\mathbf{a}\sim {\pi }_{\beta }(\cdot \mid \mathbf{s}}[f(\mathbf{a})]\right|$$

• Asymmetrically-Relaxed Distribution Alignment¹
  基于对抗训练方式得到的分布距离度量子，感兴趣进一步可参阅具体文献

---

选择完probability metric后，要确定该distribution measure和约束$D\left(\pi ,{\pi }_{\beta }\right)\le ϵ$的具体实现方式

2.1.1 直接实现方式——Policy penalty

把约束$D\left(\pi ,{\pi }_{\beta }\right)\le ϵ$当作惩罚项加在Policy Improvement和Evaluation上：
$$\begin{array}{rl}{\hat{Q}}_{k+1}^{\pi }& \leftarrow \arg \underset{Q}{\min }{\mathbb{E}}_{\left(\mathbf{s},\mathbf{a},{\mathbf{s}}^{\prime }\right)\sim \mathcal{D}}\left[{\left(Q(\mathbf{s},\mathbf{a})-\left(r(\mathbf{s},\mathbf{a})+\gamma {\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_k\left({\mathbf{a}}^{\prime }\mid {\mathbf{s}}^{\prime }\right)}\left[{\hat{Q}}_k^{\pi }\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)\right]-\alpha \gamma D\left({\pi }_k\left(\cdot \mid {\mathbf{s}}^{\prime }\right),{\pi }_{\beta }\left(\cdot \mid {\mathbf{s}}^{\prime }\right)\right)\right)\right)}^2\right]\\ {\pi }_{k+1}& \leftarrow \arg \underset{\pi }{\max }{\mathbb{E}}_{\mathbf{s}\sim \mathcal{D}}\left[{\mathbb{E}}_{\mathbf{a}\sim \pi (\mathbf{a}\mid \mathbf{s})}\left[{\hat{Q}}_{k+1}^{\pi }(\mathbf{s},\mathbf{a})\right]-\alpha D\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)\right]\end{array}$$

假如选择f散度当距离度量$D$，计算该度量要用变分形式，需要用额外的网络来拟合信号$x(s,a)$：$$D_f\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)=\underset{x:S\times A\to \mathbb{R}}{\max }{\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s})}[x(\mathbf{s},\mathbf{a})]-{\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_{\beta }(\cdot \mid \mathbf{s})}\left[f^{\ast }\left(x\left(\mathbf{s},{\mathbf{a}}^{\prime }\right)\right)\right]$$

更为直接地实现可以把这个约束加到reward函数中：

$$\bar{r}(s,a)=r(s,a)-\alpha f\left(\frac{\pi (a|s)}{{\pi }_{\beta }(a|s)}\right)$$

2.1.2 间接实现的方式——Policy Update Structure

把约束$D\left(\pi ,{\pi }_{\beta }\right)\le ϵ$在Policy Improvement中以某种流程实现策略在该约束内实现更新：
$$\begin{array}{rl}& {\hat{Q}}_k^{\pi }\leftarrow \arg \underset{Q}{\min }{\mathbb{E}}_{\left(\mathbf{s},\mathbf{a},{\mathbf{s}}^{\prime }\right)\sim \mathcal{D}}\left[{\left(Q(\mathbf{s},\mathbf{a})-\left(r(\mathbf{s},\mathbf{a})+\gamma {\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_{k-1}\left({\mathbf{a}}^{\prime }\mid {\mathbf{s}}^{\prime }\right)}\left[{\hat{Q}}_{k-1}^{\pi }\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)\right]\right)\right)}^2\right]\\ & {\bar{\pi }}_{k+1}(\mathbf{a}\mid \mathbf{s})\leftarrow \frac{1}{Z}{\pi }_{\beta }(\mathbf{a}\mid \mathbf{s})\exp \left(\frac{1}{\alpha }{\hat{Q}}_k^{\pi }(\mathbf{s},\mathbf{a})\right)\\ & {\pi }_{k+1}\leftarrow \underset{\pi }{\mathrm{argmin}}{D}_{\mathrm{K}\mathrm{L}}\left({\bar{\pi }}_{k+1},\pi \right)\end{array}$$

大致理解一下原理：

1. 从$\mathcal{D}$中学习一个Q函数${\hat{Q}}_k^{\pi }(\mathbf{s},\mathbf{a})$
2. 从${\pi }_{\beta }(\mathbf{a}|\mathbf{s})$中采样一些in-distribution的动作，衡量该动作的Q值当作权重${\hat{Q}}_k^{\pi }(\mathbf{s},\mathbf{a})$
3. 对第2步的采样值进行normalize即$\frac{1}{Z}$，形成一个介于$\pi$与${\pi }_{\beta }$之间的策略${\bar{\pi }}_{k+1}$
4. 在KL 距离下寻找与${\bar{\pi }}_{k+1}$最近的策略

具体的算法有如AWR²，ABM³，AWAC⁴

---

2.1.3 新颖的实现方式——Constrain Supports

当我们选择probability metric当作约束的时候，即$\text{ s.t. }D\left(\pi ,{\pi }_{\beta }\right)\le ϵ$，约束分布的要素是probability density，选择f-divergence变分形式的话如下：$$D_f\left(\pi (\cdot \mid \mathbf{s}),{\pi }_{\beta }(\cdot \mid \mathbf{s})\right)=\underset{x:S\times A\to \mathbb{R}}{\max }{\mathbb{E}}_{\mathbf{a}\sim \pi (\cdot \mid \mathbf{s})}[x(\mathbf{s},\mathbf{a})]-{\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_{\beta }(\cdot \mid \mathbf{s})}\left[f^{\ast }\left(x\left(\mathbf{s},{\mathbf{a}}^{\prime }\right)\right)\right]$$

计算分布的对象$\pi (\cdot |s)$在离散分布中是一个概率值，在连续分布中是概率密度，所以约束的是分布的概率要素
因此，转换一下角度，约束分布的supports行不行？（supports可以理解为$(s,a)\sim \mathcal{D}$，即数据集中$(s,a)$的覆盖度，因为不可能遇到$|\mathcal{S}|\times |\mathcal{A}|$空间中所有$(s,a)$的值，是集合的概念——支撑集）

有什么用呢？Kumar大神在2019年BAIR博客中举了一个简单的例子：

• (a)：真实世界，初始状态在$S$，目标状态在$G$，动作两个维度向左向右。在$S$左半的状态，两个动作的执行奖励均为0；$S$右半的状态，向左动作奖励为-1，向右动作奖励为1，设计这样的奖励，希望策略学会从$S\to G$
• (b)：行为策略Behavior Policy收集的离线数据集$\mathcal{D}$反映出来的情况是，S左半的状态动作必往左；S右半的状态动作0.9概率往左，0.1概率往右；
• (c )：从(b)的离线数据集，约束的实现基于probability density实现的话（即distribution matching），大概率会学到“向左”这个动作，这样就到达不了
• (d): 从（b）的离线数据集，约束的实现基于probability support实现的话（即distribution support），那么策略就有可能到达$G$

这例子的关键是在说，如果约束的对象是分布$\pi (\cdot |s)$的概率值，那如果Offline Datasets达到high reward region的概率低，基于这种约束，learned policy达到高奖励区域的概率也低。但如果约束的是Offline Datasets见过的“high reward region”即supports，基于这种约束，learned policy的概率倾向高奖励区域的概率就增高了！

那怎么实现support mathcing呢？(以离散动作举一例：

$$D_{support,ϵ}\left(\pi (\cdot |s),{\pi }_{\beta }(\cdot |s)\right)=\sum _{a\in A,a^{\prime }\sim {\pi }_{\beta }(a|s)\le ϵ}\pi (a^{\prime }|s)$$

把behavior policy即${\pi }_{\beta }(a|s)$中很少出现的动作$a^{\prime }\le ϵ$拿出来，将当前策略$\pi$中的这个动作$a^{\prime }$的概率值(probability density)加在一起作为惩罚。基本思想：通过对当前策略惩罚那些在$\mathcal{D}$中出现很少的动作，达到以support方式约束策略$\pi (\cdot |s)$的目的。

2.1.4 总结：策略约束的实现方式

问题描述：计算目标Q值时$r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim T(\cdot |s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}[Q(s^{\prime },a^{\prime })]$中的$a^{\prime }\sim \pi (\cdot |s^{\prime })$有可能会遇到离线数据集中$\mathcal{D}$没怎么出现过的动作如$a^{\prime \prime }$，这样计算$Q(s^{\prime },a^{\prime \prime })$时会出现严重偏差。

因此解决问题的第一个角度是要对策略$\pi (\cdot |s)$进行约束：

1. 分布要素宏观上有probability density / supports两种，这两种分布约束的构建怎么针对问题进行选择？
2. 分布约束构建确定好了，分布的距离度量有f-divergence 、IPM、Asymmetrically-Relaxed Distribution Alignment等多个选择，不同分布度量有不同的效果，怎么针对问题进行选择？
3. 不同分布度量的数值计算方法有不同的误差，比如变分形式逼近或用某种算法迭代计算或样本量直接估计分布距离等，这些距离的近似误差又会造成什么影响？
4. 分布约束的构建、度量、数值计算都确定好了，怎么将它在嵌入模型对象中去？可选择的对象有：actor/ Q-value/ reward/ MDP中的dynamics。比如策略约束直接加到reward中，或者Q-value的目标中，或者内嵌到actor update的流程中，或者MDP的dynamics中等。

那策略约束就真这么好吗？其实它有一个最为致命的问题，从而催生出下一种方法。

致命缺陷：这些方法的计算都建立在${\pi }_{\beta }(a|s)$已知，那这玩意怎么得到？从$\mathcal{D}$中behavior cloning出来的，于是它的准确性就决定了构建在它上面的policy constraint方法性能的上限。

2.2 Uncertainty-based methods

Offline主要问题描述：计算目标Q值时$r(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim T(\cdot |s,a),a^{\prime }\sim \pi (\cdot |s^{\prime })}[Q(s^{\prime },a^{\prime })]$中的$a^{\prime }\sim \pi (\cdot |s^{\prime })$有可能会遇到离线数据集中$\mathcal{D}$没怎么出现过的动作如$a^{\prime \prime }$，这样计算$Q(s^{\prime },a^{\prime \prime })$时会出现严重偏差。

因此解决问题的第二个角度是对不在$\mathcal{D}$中的动作$a^{\prime \prime }$，计算$Q(s^{\prime },a^{\prime \prime })$的不确定性，根据不确定性对计算目标Q值的严重偏差进行修正，总体描述下：

1. 什么是$Q(s^{\prime },a^{\prime \prime })$的不确定性？如何表示不确定性？
2. 不确定性，意味着对象是分布，因此$Q(s^{\prime },a^{\prime \prime })$的不确定性，意味着需要维持一个Q函数的分布！
3. 某策略分布$\pi$的Q函数分布是维持在离线数据集$\mathcal{D}$上的，记为${\mathcal{P}}_{\mathcal{D}}(Q^{\pi })$
4. 怎么表示${\mathcal{P}}_{\mathcal{D}}(Q^{\pi })$？先简单点，对于一个对$(s^{\prime },a^{\prime \prime })$维持一定数量的Q网络比如$Q_1(s^{\prime },a^{\prime \prime }),Q_2(s^{\prime },a^{\prime \prime }),...,Q_n(s^{\prime },a^{\prime \prime })$，每个Q值的概率相同，这样不就形成Q函数的分布了嘛${\mathcal{P}}_{\mathcal{D}}(Q^{\pi })$！

总体描述流程为：

$$\begin{array}{l}\text{policy evaluation : }{\mathcal{P}}_{\mathcal{D}}(Q_{k+1}^{\pi })\leftarrow \arg {\min }_{{\mathcal{P}}_{\mathcal{D}}(Q^{\pi })}{\mathbb{E}}_{\left(\mathbf{s},\mathbf{a},{\mathbf{s}}^{\prime }\right)\sim \mathcal{D}}\left[{\left({\mathcal{P}}_{\mathcal{D}}(Q_k^{\pi })-\left(r(\mathbf{s},\mathbf{a})+\gamma {\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_k\left({\mathbf{a}}^{\prime }\mid {\mathbf{s}}^{\prime }\right)}\left[{\mathbb{E}}_{{\mathcal{P}}_{\mathcal{D}}(Q_k^{\pi })}[{\hat{Q}}_k^{\pi }\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)]\right]\right)\right)}^2\right]\\ \text{policy improvement : }{\pi }_{k+1}\leftarrow \arg {\max }_{\pi }{\mathbb{E}}_{\mathbf{s}\sim \mathcal{D}}\left[{\mathbb{E}}_{\mathbf{a}\sim \pi (\mathbf{a}\mid \mathbf{s})}\left[{\mathbb{E}}_{{\hat{Q}}_{k+1}^{\pi }(\mathbf{s},\mathbf{a})\sim {\mathcal{P}}_{\mathcal{D}}(Q_{k+1}^{\pi })}[Q_{k+1}^{\pi }(\mathbf{s},\mathbf{a})]-\alpha \text{Unc}({\mathcal{P}}_{\mathcal{D}}(Q_{k+1}^{\pi }))\right]\right]\end{array}$$

在Policy improvement中，对不确定性高的Q值进行保守估计。

那需要研究什么呢？

1. Q函数的分布怎么表示？（分布的结构如线性、高斯、凸性等）
2. 分布的不确定性${\mathcal{P}}_{\mathcal{D}}(Q^{\pi })$的计算方式？（利用分布的统计量以某种计算方式得出uncertainty，简单点的就直接方差当作不确定性啥的）
3. 怎么更新、维护这个Q函数的分布？（更新统计量的方式）

这个能work的关键点：基于不确定性方法的前提是不确定性的估计${\mathcal{P}}_{\mathcal{D}}(Q^{\pi })$得比较正确才行呀！

2.2.1 Conservative Q Learning⁵

参数化一个Q函数$\varphi$，进行policy evaluation这一步：

它原来的目标描述为：

$$\begin{array}{rl}\text{Policy Optimization}& ={\mathbb{E}}_{\left(\mathbf{s},\mathbf{a},{\mathbf{s}}^{\prime }\right)\sim \mathcal{D}}\left[{\left(Q_{\varphi }(\mathbf{s},\mathbf{a})-\left(r(\mathbf{s},\mathbf{a})+\gamma {\mathbb{E}}_{{\mathbf{a}}^{\prime }\sim {\pi }_k\left({\mathbf{a}}^{\prime }\mid {\mathbf{s}}^{\prime }\right)}\left[{\hat{Q}}_{\varphi }^{\pi }\left({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime }\right)\right]\right)\right)}^2\right]\\ & ={\mathbb{E}}_{\left(\mathbf{s},\mathbf{a},{\mathbf{s}}^{\prime }\right)\sim \mathcal{D}}\left[(Q_{\varphi }(s,a)-{\mathcal{B}}^{\pi }{Q}_{\varphi }(s,a){)}^2\right]\\ & =\mathcal{E}(\mathcal{B},\varphi )\end{array}$$

然后对该目标加一些基于不确定性的惩罚：

$$\begin{array}{r}\text{Policy Optimization}=\underset{\varphi }{\min }\mathcal{E}(\mathcal{B},\varphi )+\alpha \mathcal{C}(\mathcal{B},\varphi )\end{array}$$

怎么选择这个$\alpha \mathcal{C}(\mathcal{B},\varphi )$，就衍生了不少算法，重点介绍一下CQL：

$${\mathcal{C}}_0(B,\varphi )={\mathbb{E}}_{s\sim \mathcal{D},a\sim \mu (\cdot |s)}[Q_{\varphi }(s,a)]$$$$\mu =\underset{\mu }{\mathrm{argmax}}{\mathbb{E}}_{s\sim \mathcal{D}}\left[{\mathbb{E}}_{a\sim \mu (\cdot |s)}[Q_{\varphi }(s,a)]+\mathcal{H}(\mu (\cdot |s))\right]$$

重点理解：策略$\mu$是尽可能选择“会遇到Q值大”的策略，意味着$\mu$更偏向于选择”过高估计Q值的动作“，换句话说，这些“过高估计Q值的动作”相对于$\mathcal{D}$来说更可能是out-of-distribution的。因此${\min }_{\varphi }\mathcal{E}(\mathcal{B},\varphi )$拟合Q函数的同时，对out-of-distribution的action也做了考量${\min }_{\varphi }{\mathcal{C}}_0(\mathcal{B},\varphi )$，让那些分布外的Q值低一点！

或者更直接一点： 让$\mathcal{D}$分布外的Q值与$\mathcal{D}$分布内的Q值之间的差值变小，惩罚改为：

$${\mathcal{C}}_{{\mathrm{C}\mathrm{Q}\mathrm{L}}_1}(B,\varphi )={\mathbb{E}}_{\mathbf{s}\sim B,\mathbf{a}\sim \mu (\mathbf{a}\mid \mathbf{s})}\left[Q_{\varphi }(\mathbf{s},\mathbf{a})\right]-{\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim B}\left[Q_{\varphi }(\mathbf{s},\mathbf{a})\right]$$

DP总结

DP-based方法主要目的是学习一个Q函数。
但Q函数的学习，如果是与环境交互的话，那误差是可以被纠正的；但如果是离线的数据集，就会出现误差，且误差不断被利用，严重影响性能。

• Policy Constraint的方法缺点是需要一个比较准确的${\pi }_{\beta }(a|s)$的估计；因此，未来展望是希望能通过${\pi }_{\beta }(a|s)$中的样本与“分布$\pi (\cdot |s)$”或”分布的采样样本“之间的度量，就能近似估计分布距离。
• Uncertainty-based好一点，只需要关注针对Q函数分布怎样获取“更准确”uncertainty的问题，意味着未来能提出更多新算法，更多坑。
• 两种方法的构建过程中，仍需要大量的探索，可选分布的结构、可选分布的度量、可选分布的构建方式等等，都影响着性能，需要有一定的理论指导。

---

1. Asymmetrically-Relaxed Distribution Alignment ↩︎

2. Advantage-Weighted Regression: Simple And Scalable Off-Policy Reinforcement Learning ↩︎

3. Keep Doing What Worked:Behavior Modelling Priors For Offline Rein- Forcement Learning ↩︎

4. Accelerating Online Reinforcement Learning with Offline Datasets ↩︎

5. Conservative Q-Learning for Offline Reinforcement Learning ↩︎