Offline RL:Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning

ICLR 2022
paper

Intro

离线强化学习容易因为OOD数据导致外推误差。以往的方法采用保守Q估计或者是策略约束。这些方法限制对OOD数据价值泛化以及缺乏对这些数据的精确表征。本文提出悲观不确信度量的离线强化学习方法PBRL。

Method

为了有效对OOD数据精确表征，部分model-based 离线方法证明不确信度量方法的有效性，但是需要离线数据学习动力学模型。本文model-free的方法则是利用对多个Q函数进行不确信度量，并作为惩罚项加入Q函数的自举过程：
$${\hat{\mathcal{T}}}^{\text{in}}{Q}_{\theta }^k(s,a):=r(s,a)+\gamma {\hat{\mathbb{E}}}_{s^{\prime }\sim P(\cdot |s,a),a^{\prime }\sim \pi (\cdot |s)}[Q_{{\theta }^{-}}^k(s^{\prime },a^{\prime })-{\beta }_{\text{in}}{\mathcal{U}}_{{\theta }^{-}}(s^{\prime },a^{\prime })]$$
其中不确信度量估计函数$\mathcal{U}$则是采用多个Q的标准差：
$$\mathcal{U}(s,a):=\text{Std}(Q^k(s,a))=\sqrt{\frac{1}{K}\sum _{k=1}^K{\left(Q^k(s,a)-\bar{Q}(s,a)\right)}^2}$$

然而这些数据均是来自数据集$D_{in}$, 因此PBRL提出一种对OOD数据的估计方法。其中OOD的动作随机采样自均匀分布
$${\hat{\mathcal{T}}}^{\mathrm{ood}}{Q}_{\theta }^k(s^{\mathrm{ood}},a^{\mathrm{ood}}):=Q_{\theta }^k(s^{\mathrm{ood}},a^{\mathrm{ood}})-{\beta }_{\mathrm{ood}}{\mathcal{U}}_{\theta }(s^{\mathrm{ood}},a^{\mathrm{ood}}),$$
为了稳定早期训练过程对该值进行截断 max ⁡ { 0 , T o o d Q θ k ( s o o d , a o o d ) } \max\{0,\mathcal{T}^\mathrm{ood}Q_{\theta}^{k}(s^\mathrm{ood},a^\mathrm{ood})\} max{0,ToodQθk​(sood,aood)}，同时参数${\beta }_{\mathrm{ood}}$在训练过程中呈现递减的变化趋势，这是因为早期Q网络以及不确定性度量是不准确，因此需要较大值予以惩罚；而随着训练的进行，Q值逐渐预测准确，该惩罚应该渐渐减轻。

综上对Critic的估计由两部分构成：
$${\mathcal{L}}_{\text{critic}}={\hat{\mathbb{E}}}_{(s,a,r,s^{\prime })\sim {\mathcal{D}}_{\text{in}}}[({\hat{\mathcal{T}}}^{\text{in}}{Q}^k-Q^k{)}^2]+{\hat{\mathbb{E}}}_{s^{\text{ood}}\sim {\mathcal{D}}_{\text{in}},a^{\text{ood}}\sim \pi }[({\hat{\mathcal{T}}}^{\text{ood}}{Q}^k-Q^k{)}^2]$$

而对于策略则是最大化Q函数优化,同时添加动作熵进行正则化：
$${\pi }_{\phi }:=\underset{\phi }{\max }{\hat{\mathbb{E}}}_{s\sim {\mathcal{D}}_{\mathrm{in}},a_{\sim }\pi (\cdot |s)}[\underset{k=1,\dots ,K}{\min }{Q}^k(s,a)-\log \pi (a_{\pi }|s)],$$

伪代码