O2O:Offline–Online Actor–Critic

IEEE TAI 2024
paper

1 Introduction

一篇offline to online 的文章，有效解决迁移过程出现的performance drop。所提出的O2AC算法首先在离线阶段添加一项BC惩罚项，用于限制策略靠近专家策略；而在在线微调阶段，通过动态调整BC的权重，缓解performance drop。

2 Method

2.1 offline

离线阶段，采用BC结合确定性策略优化方法。最大化下列损失函数：
$$J_{\mathrm{offine}}(\mathbf{\theta })={\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim \mathcal{B}}\left[\zeta Q_{\mathbf{\varphi }}(\mathbf{s},{\pi }_{\mathbf{\theta }}(\mathbf{s}))-{\Vert {\pi }_{\mathbf{\theta }}(\mathbf{s})-\mathbf{a}\Vert }^2\right]$$
其中，$\zeta$用于平衡BC以及一般policy iteration，其数值如下：
$$\zeta =\frac{\alpha }{\frac{1}{m}{\sum }_{({\mathbf{s}}_i,{\mathbf{a}}_i)\in \overline{\mathcal{B}}}|Q({\mathbf{s}}_i,{\mathbf{a}}_i)|}$$
其中$\overline{\mathcal{B}}$表示从Buffer中采样地mini-batch, size为m

2.2 online

在线微调阶段，对确定性策略优化的损失函数表示如下
$$J_{\mathrm{online}}(\mathbf{\theta })={\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim \mathcal{B}}\left[\zeta Q_{\mathbf{\varphi }}(\mathbf{s},{\pi }_{\mathbf{\theta }}(\mathbf{s}))-\lambda {\Vert {\pi }_{\mathbf{\theta }}(\mathbf{s})-\mathbf{a}\Vert }^2\right]$$
相较于offline，损失函数增加对BC权重因子$\lambda$。该数值是动态减少的，实验设置为每5k steps, 减少10%。对Q价值的更新则是类似于TD3，使用两个target网络以及延时更新。
$$\begin{array}{rl}L(\varphi )& ={\mathbb{E}}_{(\mathbf{s},\mathbf{a})\sim \mathcal{B}}\left[{\left(\bar{y}-Q_{\mathbf{\varphi }}(\mathbf{s},\mathbf{a})\right)}^2\right]\\ & \\ \text{where }\bar{y}& =r+\underset{i=1,2}{\min }{Q}_{\overline{{\mathbf{\varphi }}_i}}(\mathbf{s}{,}^{\prime }{\mathbf{a}}^{\prime }\sim {\pi }_{\bar{\mathbf{\theta }}}).\end{array}$$

伪代码如下：

Summary

有个疑问，online阶段对策略进行更新时，采样的数据(s,a)是来自replaybuffer $\mathcal{B}$。$\mathcal{B}$包含在线阶段真实交互数据以及离线数据。如果(s,a)是OOD或者质量差数据，那么此时BC项应该尽可能地不要发挥作用。简单的调整$\lambda$恐怕效果不够。可以探索添在BC项再加一个指示函数自适应地判断，“异常数据”直接截断为0.