OfflineRL——BCQ算法

Offline RL

最近在看一些offline RL的内容，本文主要是介绍一个offline RL的经典算法——BCQ算法。先了解一下Offline RL 的概念。

概念

Offline RL即离线强化学习。offline RL也叫batch RL，它的基础setting是：有一个强化学习环境下得到的数据集，一个这样的四元组 $(s_t,a_t,r_t,s_{t+1})$。我们的目标是在不与环境交互的情况下，仅通过这个数据集，学出一个最好的策略 $\pi$。

事实上所有的off-policy算法都可以用来做Offline-RL。像DQN、DDPG这样的off-policy方法，有一个用来存储之前采集的数据replay buffer。其实当这个replay buffer足够大时，我们就可以看成是Offline-RL。

与模仿学习的区别

当数据质量足够好，比如说轨迹都是专家策略生成的数据时，可以直接进行模仿学习imitation learning。offline-RL与模仿学习的区别在于，offlineRL理论上可以利用任意策略采样的离线数据学习得到最优策略，而模仿学习必须是模仿专家策略采样的数据。

与online和off-policy的区别

online RL: 每次的策略 ${\pi }_{k+1}$ 更新时，是基于从环境中获取到的流数据（也就是序列 $s$