O2O:Actor-Critic Alignment for Offline-to-Online Reinforcement Learning

ICML 2023 Poster
paper

1 Introduction

O2O容易因为分布偏移导致策略崩溃，解决方法包括限制策略偏移计以及平衡样本采样等。然而这些方法需要求解分布散度或者密度比(density ratio)。为了避免这些复杂操作，本文并不采用以往AC方法对Q值进行变形，而是对离线策略进行对齐，即使面对离线策略外的动作的Q值依旧能被限制。因此，在线微调就能如同一般AC方法执行。

方法的核心来自于SAC的策略表示，它与Q值softmax操作密切相关，该形式让策略与Q值联系在一起。
$${\pi }_{\theta }(a|s)=\exp (\frac{1}{\alpha }{Q}_{\mu }(s,a))/\sum _{a\in \mathcal{A}}\exp (\frac{1}{\alpha }{Q}_{\mu }(s,a))$$
设置$Z(s)=\alpha \log {\sum }_{a\in \mathcal{A}}exp(Q_{\mu }(s,a)/\alpha )$，上式进行简写为：
$$Q_{\mu }(s,a)=Z(s)+\alpha \log {\pi }_{\theta }(a|s)$$
Q值由于OOD的存在可能存在错误估计，但是策略是值得信赖的（但是需要在线微调）。由上式可以看出，SAC的离线策略自然将critic与actor对齐。它允许我们对online阶段的Q值使用offline的策略进行初始化。在线微调时，只要采取SAC方法，所提出方法在各种任务上均表现优良。

2 Method

本文提出的方法包括三个阶段：1）offline 2）actor-critic alignment 3） online

2.1 Offline

2.1.1 actor update

对actor的更新采用SAC与最大似然(ML)相结合的方法，
$$\begin{array}{rl}{\mathcal{L}}_{\pi }^{\mathrm{SAC}+\mathrm{ML}}(\theta ,\mathrm{d})& ={\mathbb{E}}_{(s,a)\sim \mathrm{d}b\sim {\pi }_{\theta }(\cdot |s)}[-\log {\pi }_{\theta }(a|s)\\ & -\lambda (Q_{\mu }(s,b)-\alpha \log {\pi }_{\theta }(b|s)\left)\right]\end{array}$$
其中$\lambda$超参数平衡二者，其取值计算如下：
λ : = ω / E ⁡ ( s , a ) ∼ d ∣ Q μ ( s , a ) ∣ ,   w h e r e   Q μ : = min ⁡ { Q μ 1 , Q μ 2 } \lambda:=\omega/\underset{(s,a)\thicksim\mathbf{d}}{\operatorname*{\mathbb{E}}}|Q_\mu(s,a)|,\mathrm{~where~}Q_\mu:=\min\{Q_{\mu_1},Q_{\mu_2}\} λ:=ω/(s,a)∼dE​∣Qμ​(s,a)∣, where Qμ​:=min{Qμ1​​,Qμ2​​}

2.1.2 critic update

critic的更新采用SAC的模式，并对temperature $\alpha$通过梯度进行更新。
$$\begin{array}{rl}& {\mathcal{L}}_Q^{\mathrm{SAC}+ML.}({\mu }_i,\mathbf{d}):={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathbf{d}}[(Q_{{\mu }_i}(s,a)-y(r,s^{\prime }){)}^2]\\ & \mathrm{with}y(r,s^{\prime }):=r+\gamma \underset{a^{\prime }\sim {\pi }_{\theta }(\cdot |s^{\prime })}{E}[Q_{\bar{\mu }}(s^{\prime },a^{\prime })-\alpha \log {\pi }_{\theta }(a^{\prime }|s^{\prime })],\end{array}$$
其中，$\bar{\mu }$表示延迟更新的target Q，且 Q μ ˉ ( s , a ) = min ⁡ i ∈ { 1 , 2 } Q μ ˉ i ( s , a ) Q_{\bar{\mu}}(s,a)=\operatorname*{min}_{i\in\{1,2\}}Q_{\bar{\mu}_{i}}(s,a) Qμˉ​​(s,a)=mini∈{1,2}​Qμˉ​i​​(s,a)
$${\mathcal{L}}_{\mathbf{temp}}^{\mathbf{SAC}+\mathbf{ML}}(\alpha ,\mathbf{d}):=-\alpha \underset{s\sim \mathbf{d}}{E}\underset{a\sim {\pi }_{\theta }(\cdot |s)}{E}\left[\log {\pi }_{\theta }(a|s)-\bar{\mathcal{H}}\right]$$

2.2 Align

离线阶段优化的策略通常表现良好，记作${\pi }_{{\theta }_0}$。而critic由于OOD可能导致崩溃。因此，本文提出一种对齐方法，将critic与离线策略相关联。这也得益于SAC策略表现形式，天然将二者相关联。这里对Q设置如下，此时$\alpha =1$
$$\begin{array}{r}{Q}_i(s,a)=\log {\pi }_{{\theta }_0}(a|s)+Z_{{\psi }_i}(s)\end{array}$$

对$Z_{{\psi }_i}(s)$通过最小化bellman误差进行优化。
$${\mathcal{L}}_Z^{\mathrm{SAC}+\mathrm{ML}}({\psi }_i,\mathbf{d}):=\underset{(s,a,r,s^{\prime })\sim \mathbf{d}}{E}[(\log {\pi }_{{\theta }_0}(a|s)+Z_{{\psi }_i}(s)-y(r,s^{\prime }){)}^2]$$
w h e r e   y ( r , s ′ ) : = r + γ E ⁡ a ′ ∼ π θ 0 ( ⋅ ∣ s ′ ) [ log ⁡ π θ 0 ( a ′ ∣ s ′ ) + Z ψ ( s ′ ) ] , Z ψ : = min ⁡ { Z ψ 1 , Z ψ 2 } . \begin{aligned}\mathrm{where~}y(r,s^{\prime}):=&r+\gamma\underset{a^{\prime}\sim\pi_{\theta_0}(\cdot|s^{\prime})}{\operatorname*{\mathbb{E}}}[\log\pi_{\theta_0}(a^{\prime}|s^{\prime})+Z_{\psi}(s^{\prime})],\\&Z_{\psi}:=\min\{Z_{\psi_1},Z_{\psi_2}\}.\end{aligned} where y(r,s′):=​r+γa′∼πθ0​​(⋅∣s′)E​[logπθ0​​(a′∣s′)+Zψ​(s′)],Zψ​:=min{Zψ1​​,Zψ2​​}.​

得益于对齐步骤，天然忽略了离线阶段优化的Q值，避免使用离线阶段错误的Q导致在线阶段的崩溃。在线阶段自然而然使用SAC在线微调


由上图可知，对齐后的策略能够有更好的性能表现，第二张图也展示策略与Q的对齐效果。

2.3 Online

在线微调阶段，Q值函数可以初始化表示如下
$$\begin{array}{rl}{Q}_{{\varphi }_i}(s,a)& :=\log {\pi }_{{\theta }_0}(a|s)+R_{{\varphi }_i}(s,a),\\ & \mathrm{where}{R}_{{\varphi }_i}(s,a)\text{ is initialized with }{Z}_{{\psi }_i}(s)\end{array}$$
对critic 的优化采用SAC的方法：
$$\begin{array}{rl}& {\mathcal{L}}_Q({\varphi }_i,\mathbf{d}):=\underset{\mathbf{d}}{E}\left[{\left(\log {\pi }_{{\theta }_0}(a|s)+R_{{\varphi }_i}(s,a)-y(r,s^{\prime })\right)}^2\right]\\ & \begin{array}{rlr}\text{where }& y(r,s^{\prime }):=r+\gamma & {\mathbb{E}}_{a^{\prime }\sim {\pi }_{\theta }(\cdot |s^{\prime })}[\log {\pi }_{{\theta }_0}(a^{\prime }|s^{\prime })+R_{\bar{\varphi }}(s^{\prime },a^{\prime })-\alpha \log {\pi }_{\theta }(a^{\prime }|s^{\prime })]\end{array}\end{array}$$
actor的优化依旧类似于SAC，其中 R ϕ : = min ⁡ i ∈ { 1 , 2 } R ϕ i , Q ϕ : = log ⁡ π θ 0 + R ϕ , R_{\phi}:=\operatorname*{min}_{i\in\{1,2\}}R_{\phi_{i}},Q_{\phi}:=\operatorname{log}\pi_{\theta_{0}}+R_{\phi}, Rϕ​:=mini∈{1,2}​Rϕi​​,Qϕ​:=logπθ0​​+Rϕ​,
$$\begin{array}{rl}{\mathcal{L}}_{\pi }(\theta ,\mathbf{d}):& =-\underset{s\sim \mathbf{d}}{E}\underset{a\sim {\pi }_{\theta }(\cdot |s)}{E}\left[Q_{\varphi }(s,a)-\alpha \log {\pi }_{\theta }(a|s)\right],\\ =& -\underset{s\sim \mathbf{d}}{E}\underset{a\sim {\pi }_{\theta }(\cdot |s)}{E}\left[R_{\varphi }(s,a)-\alpha \log {\pi }_{\theta }(a|s)\right]\\ & -\underset{\text{penalizing deviation of πθ from πθ0}}{\underbrace{{\mathbb{E}}_{s\sim \mathbf{d}}{\mathbb{E}}_{a\sim {\pi }_{\theta }(\cdot |s)}[\log {\pi }_{{\theta }_0}(a|s)]}}\end{array}$$
第二项的对数似然可看作时正则化项，使得新策略靠近离线优化的策略。