O2O:Uncertainty-Driven Pessimistic Q-Ensemble for Offline-to-Online Reinforcement Learning

NIPS 2022 Offline RL Workshop
paper

Intro

O2O存在OOD数据导致价值函数的错误估计，进而导致策略出现performance drop。一些方法例如Off2OnRL采用集成悲观的Q估计方法，缓解分布偏移导致的这种Bootstrapping errors。同时该方法还提出一种Balanced ReplayBuffer将离线数据应用于在线过程。

本文提出的方法UPQ沿用集成悲观Q估计的同时，采用对Q函数加入基于不确信度量的惩罚。

Method

对集成Q函数以及策略沿用Off2OnRL的方法：
$$\begin{array}{rl}{Q}_{\theta }^E(s,a)& :=\frac{1}{N}\sum _{i=1}^N{Q}_{{\theta }_i}(s,a),\\ {\pi }_{\varphi }^E(\cdot |s)& =\mathcal{N}(\frac{1}{N}\sum _{i=1}^N{\mu }_{{\varphi }_i}(s),\frac{1}{N}\sum _{i=1}^N({\sigma }_{{\varphi }_i}^2(s)+{\mu }_{{\varphi }_i}^2(s))-{\mu }_{\varphi }^2(s)),\end{array}$$
对Q函数的不确信度量方法如下：
$${\mathcal{U}}_{{\theta }_{-}}(s^{\prime },a^{\prime }):=\sigma (Q_{{\theta }_{-}}(s^{\prime },a^{\prime }))=\sqrt{\frac{1}{N}\sum _{i=1}^N{\left(Q_{{\theta }_{-}}(s^{\prime },a^{\prime })-Q_{{\theta }_{-}}^E(s^{\prime },a^{\prime })\right)}^2,}$$

将Q的不确定性度量加入bellman算子：
$$\mathcal{T}{Q}_{\theta }^E(s,a):=r(s,a)+\gamma {\mathbb{E}}_{a^{\prime }\sim {\pi }_{\varphi }^E}[Q_{\theta -}^E(s^{\prime },a^{\prime })-\alpha \log {\pi }_{\varphi }^E(a^{\prime }|s^{\prime })-\beta {\mathcal{U}}_{\theta -}(s^{\prime },a^{\prime })]$$

接下来对Critic以及Actor的更新如下：
$$\begin{array}{r}{\mathcal{L}}_{Critic}(\theta )={\mathbb{E}}_{(s,a,s^{\prime })\sim \mathcal{B}}\left[\right(Q_{\theta }^E(s,a)-\mathcal{T}{Q}_{\theta }^E(s,a){)}^2],\\ \\ {\mathcal{L}}_{Actor}(\varphi )={\mathbb{E}}_{s\sim \mathcal{B},a\sim {\pi }_{\varphi }^E}[\alpha \log {\pi }_{\varphi }^E(a|s)-Q_{\theta }^E(s,a)],\end{array}$$