Offline RL: A Policy-Guided Imitation Approach for Offline Reinforcement Learning

NIPS 2022
paper

Intro

针对离线 RL 问题，提出将代理分解为一个向导策略(guide-policy): $g(s^{\prime }|s)$和一个执行策略(execute-policy) : $\pi (a|s,g(s))$，前者建议向给定的当前状态转换的下一个状态的最高值，后者产生可能一步就将代理转换到给定状态的操作。通过这种分解，避免了使用动作值函数的方法的缺陷，同时保持了模拟学习方法的稳定性。

Method

Learning the Guide-Policy

为了让向导策略能够正确引导，首先需要利用离线数据中的(s,s’,r)学习一个价值函数。由于缺乏动作，自然有利于规避ODD导致的过估计。
$$\underset{\varphi }{\min }{\mathbb{E}}_{(s,r,s^{\prime })\sim \mathcal{D}}\left[1(1+\frac{r+\gamma V_{{\varphi }^{\prime }}(s^{\prime })-V_{\varphi }(s)}{2\tau }>0)(1+\frac{r+\gamma V_{{\varphi }^{\prime }}(s^{\prime })-V_{\varphi }(s)}{2\tau }{)}^2+\frac{V_{\varphi }(s)}{\tau }\right]$$
上述公式的$\tau$实现最优化V以及减少逼近误差的trade-off。较小的 $\tau$向更高V 驱动，同时引入更大的近似误差，反之亦然。

得到价值函数，简单最大化从而得到指导策略容易出现错误状态泛化。因此本文添加一项基于BC的正则化项：$$\underset{\omega }{\max }{\mathbb{E}}_{s\sim \mathcal{D},s^{\prime }\sim g_{\omega }(s)}[V_{\varphi }(s^{\prime })+\alpha \log g_{\mu }(s^{\prime }|s)]$$

其中$g_{\mu }$是利用离线数据得到的。除此外，还提供另一种行为隐式正则（AWR算法）的策略优化方法：
$$\underset{\omega }{\max }{\mathbb{E}}_{(s,s^{\prime })\sim \mathcal{D}}\left[\exp \right(\frac{r+\gamma V_{{\varphi }^{\prime }}(s^{\prime })-V_{\varphi }(s)}{\alpha })\log g_{\omega }(s^{\prime }|s)]$$

Learning the Execute-Policy: Training and Evaluation

得到向导策略后，利用监督学习的方法学习执行策略：
$$\underset{\theta }{\max }{\mathbb{E}}_{(s,a,s^{\prime })\in \mathcal{D}}[\log {\pi }_{\theta }(a|s,s^{\prime })]$$
而在以后的evaluation过程中策略表示如下：$a=\arg {\max }_a{\pi }_{\theta }(a|s,g_{\omega }(s))$