Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL

ICML 2024
paper
code

Intro

大多数现有的off-policy RL 算法都无法最大限度地利用重放缓冲区中的信息，从而限制了采样效率和策略性能。在这项工作中发现根据共享的在线回放缓冲区同时训练offline RL 策略有时会优于原始的在线学习策略，但这种性能增益的发生仍不确定。这就是本文提出的OBAC，即利用新出现的性能优越的离线最优策略来改进在线策略学习。

Method

策略提升

1. 对于目标策略$\pi$依旧按照利用bellman期望算子，最小化均方bellman误差得到状态动作价值函数$Q^{\pi }(s,a)$
   $$\arg \underset{Q_{\varphi }^{\pi }}{\min }{\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[\frac{1}{2}{\left(Q_{\varphi }^{\pi }(s,a)-{\mathcal{T}}^{\pi }{Q}_{\varphi }^{\pi }(s,a)\right)}^2\right]$$
   然后对$Q^{\pi }$求期望得到状态价值函数$V^{\pi }$
2. 采用IQL的离线强化学习方法，得到离线最优策略的状态动作价值函数$Q^{{\mu }^{\ast }}(s,a)$以及状态价值函数$V^{{\mu }^{\ast }}(s)$

策略改进

策略优化即解决下列带KKT条件的优化问题

即当该状态下，离线策略下的价值函数优于在线策略下的价值函数时，则最小化两个策略间的分布距离。利用拉格朗日乘子法得到上述问题的闭式解为

实际操作中，为了避免上述无法计算的解，选择将结果限制在一组可控的高斯策略中，并通过KL散度 将改进后的策略投射到这些所需的策略中。然后，如果我们选择正则化函数 f (x) = x log x，更新后的策略目标为

第一种情况下就是一般的off-policy的优化方法；第二种情况下认为离线策略优于在线策略，则在off-policy的基础上添加BC正则化项。二者结合优化目标如下

Results

总结

对于ReplayBuffer中的数据重新再利用，通过离线强化学习方法学习一个最优策略的价值函数表达。

1. 什么时候用：利用状态价值函数进行判断，当离线策略下的价值函数大于在线策略价值函数时，选择相信离线策略的质量
2. 如何用：以约束的形式引导在线策略学习，本文就采用BC正则的方法