Offline RL : QDT: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL

ICML 2023
paper
CQL + DT

Intro

sequential model在离线强化学习中广泛应用，尤其是基于transformer 架构的方法。本文指出这种方法虽然对轨迹数据强大的特征表达能力，但是缺乏对轨迹的拼接能力。

而传统基于动态规划的RL方法（Ｑ学习）不存在该问题，但是存在价值函数函数逼近误差造成的学习过程不稳定。因此，本文提出将两种类型的算法结合 提出QDT: DT + CQL.利用动态规划结果重新标记训练数据中的回报，然后用重新标记的数据训练DT，在离线数据上性能实现提升。

Method

QDT使用CQL训练Q价值函数。得到的Q将用于状态价值函数估计$\hat{V}(s_t)={\mathbb{E}}_{a\sim \pi (a|s_t)}[\hat{Q}(s_t,a)]$。函数估计价值函数将作为下界值用于矫正轨迹样本的累计回报。伪代码如下

而为了维持住R是累计回报的设定，在完成Algorithm1后，将使用校正后的奖励重新计算累计回报

接下来便是利用DT进行策略学习。

results

能看出来QDT总体的表现更加稳定，算是集两家之所长。

2024/5/20： ICLR 2024 文章《WHEN SHOULD WE PREFER DECISION TRANSFORMERS FOR OFFLINE REINFORCEMENT LEARNING?》分析了CQL以及DT的优缺点以及在什么情况下使用较合适。