O2O:Sample Efficient Offline-to-Online Reinforcement Learning

IEEE TKDE 2024
paper

Introduction

O2O存在策略探索受限以及分布偏移问题，进而导致在线微调阶段样本效率低。文章提出OEMA算法首先使用离线数据训练乐观的探索策略，然后提出基于元学习的优化方法，减少分布偏移并提高O2O的适应过程。

Method

optimistic exploration strategy

离线学习方法TD3+BC的行为策略${\pi }_e(s)$是由目标策略${\pi }_{\varphi }(s)$加上一个正态分布中采样的噪声。文章指出，目标策略被优化靠近离线数据集的保守策略，为了提高目标策略的探索能力，本文提出基于价值不确定性度量的方法：
$$\begin{array}{rl}{\pi }_e& =\arg \underset{\pi }{\max }{\hat{Q}}_{\mathrm{UB}}(s,\pi (s)),\\ s.t.& \frac{1}{2}\Vert {\pi }_{\varphi }(s)-\pi (s)\Vert \le \delta ,\end{array}$$
其中${\hat{Q}}_{\mathrm{UB}}(s,\pi (s))$为Q值的近似上界, 用来衡量认知不确定性。上述问题在保证策略约束的同时选择高不确信的动作。

不确信估计采用高斯分布。分布的均值为两个Q网络输出的均值，而方差表示如下：
$$\begin{array}{c}{\sigma }_Q(s,a)=\sqrt{\sum _{i=1,2}\frac{1}{2}(Q_{{\theta }_i}(s,a)-{\mu }_Q(s,a){)}^2}\\ =\frac{1}{2}|Q_{{\theta }_1}(s,a)-Q_{{\theta }_2}(s,a)|.\end{array}$$
那么${\hat{Q}}_{\mathrm{UB}}={\mu }_Q(s,a)+{\beta }_{\text{UB}}{\sigma }_Q(s,a)$。$\beta$控制乐观程度，当取值-1时上式等价于：
$$\begin{array}{rlr}& {\hat{Q}}_{\mathrm{UB}}(s,a){|}_{{\beta }_{\mathrm{UB}}=-1}={\mu }_Q(s,a)-{\sigma }_Q(s,a)& \\ & \begin{array}{rl}& =\frac{1}{2}(Q_{{\theta }_1}(s,a)+Q_{{\theta }_2}(s,a))-\frac{1}{2}|Q_{{\theta }_1}(s,a)-Q_{{\theta }_2}(s,a)|\end{array}& \\ & =\min (Q_{{\theta }_1}(s,a),Q_{{\theta }_2}(s,a)),& \text{(9)}\end{array}$$
而当$\beta =1$时等价于${{\hat{Q}}_{\mathrm{UB}}(s,a)|}_{{\beta }_{\mathrm{UB}}=1}=\max (Q_{{\theta }_1}(s,a),Q_{{\theta }_2}(s,a)),$

原问题一种简单的解决方法是使用BC将其转化为无约束问题：
$${\pi }_e^{\text{naive}}(s)=\arg \underset{\pi }{\max }{\hat{Q}}_{\text{UB}}(s,\pi (s))-\lambda \Vert {\pi }_{\varphi }(s)-\pi (s)\Vert$$
然而，由于目标策略通过策略改进不断更新，这种基于行为克隆的惩罚项无法缩小行为策略和目标策略之间的差距，违反了带约束的原问题。

为了解决该问题，提出在TD3的行为策略上增加一项扰动模型$\xi$。行为策略改为
$${\pi }_e(s)={\pi }_{\varphi }(s)+{\xi }_{\omega }(s,{\pi }_{\varphi }(s))+ϵ$$
而对扰动模型的参数最小化下列损失函数
$$\mathcal{L}(\omega )=-{\mathbb{E}}_{s\sim \mathcal{B}}\left[{\hat{Q}}_{\mathrm{UB}}(s,{\pi }_e(s))\right]$$

Meta Adaptation for Distribution Shift Reduction

接着，为了解决在线微调存在的分布偏移问题，采用元学习的方法。具体的，保留两个buffer,Buffer $B$存储离线以及在线所有数据，$B_r$存储最新在线数据。

meta training

首先在B上训练策略：
$${\mathcal{L}}_{trn}(\varphi )=-{\mathbb{E}}_{s\sim \mathcal{B}}\left[Q_{{\theta }_1}\left(s,{\pi }_{\varphi }(s)\right)\right]$$
然后基于SGD的一次梯度下降得到：$${\varphi }^{\prime }=\varphi -\alpha {\nabla }_{\varphi }{\mathcal{L}}_{trn}(\varphi )$$

meta test

然后利用最新在线数据集测试：
$${\mathcal{L}}_{tst}({\varphi }^{\prime })=-{\mathbb{E}}_{s\sim {\mathcal{B}}_r}[Q_{{\theta }_1}(s,{\pi }_{{\varphi }^{\prime }}(s))]$$

meta optimization

最后将上述两个损失函数用下面的元优化目标共同优化
$$\varphi =\arg \underset{\varphi }{\min }{\mathcal{L}}_{trn}(\varphi )+\beta {\mathcal{L}}_{tst}(\varphi -\alpha {\nabla }_{\varphi }{\mathcal{L}}_{trn}(\varphi ))$$

问题

1. 原文中在meta optimization中对$\varphi$梯度更新是否修正为：
   $$\varphi \leftarrow \varphi -\alpha \frac{\partial \left({\mathcal{L}}_{trn}\left(\varphi \right)+\beta {\mathcal{L}}_{tst}\left(\varphi -\alpha {\nabla }_{\varphi }{\mathcal{L}}_{trn}\left(\varphi \right)\right)\right)}{\partial \varphi }$$
2. 基于这个偏导出现的第二个问题。这是源码中元学习的训练过程

# Compute actor losse
            actor_loss = -self.critic.Q1(state, self.actor(state)).mean()

            """ Meta Training"""
            self.actor_optimizer.zero_grad()
            actor_loss.backward(retain_graph=True)
            self.hotplug.update(3e-4)

            """Meta Testing"""
            self.beta = max(0.0, self.beta - self.anneal_step)
            meta_actor_loss = -self.critic.Q1(meta_state, self.actor(meta_state)).mean()
            weight = self.beta * actor_loss.detach() / meta_actor_loss.detach()
            meta_actor_loss_norm = weight * meta_actor_loss
            meta_actor_loss_norm.backward(create_graph=True)

            """Meta Optimization"""
            self.actor_optimizer.step()
            self.hotplug.restore()

其中，meta-testing中计算weight以及meta_actor_loss_norm不太明白。按照本人的理解，原文计算$L_{tst}$对$\varphi$求偏导：
$$\frac{\beta \partial {\mathcal{L}}_{tst}\left(\varphi -\alpha {\nabla }_{\varphi }{\mathcal{L}}_{trn}\left(\varphi \right)\right)}{\partial \varphi }=\beta \frac{\partial {\mathcal{L}}_{tst}\left(\varphi -\alpha {\nabla }_{\varphi }{\mathcal{L}}_{trn}\left(\varphi \right)\right)}{\partial {\varphi }^{\prime }}\frac{\partial {\varphi }^{\prime }}{\partial \varphi }$$
中间的偏导自然是由meta-test小节的损失函数所得到的meta_actor_loss。而$\beta \frac{\partial {\varphi }^{\prime }}{\partial \varphi }=\beta \frac{\partial L_{tst}}{\partial \varphi }/\frac{\partial L_{tst}}{\partial {\varphi }^{\prime }}=\beta \frac{\partial L_{trn}}{\partial \varphi }/\frac{\partial L_{trn}}{\partial {\varphi }^{\prime }}$就是那个weight。
但这样应该使用从相同的Buffer中获得状态数据，这并未在源码中体现。

可能有误，欢迎指正