Offline RL : Reinformer: Max-Return Sequence Modeling for offline RL

ICML 2024
paper
code

Intro

提出了一种新的离线强化学习（offline RL）方法，称为Reinformer。Reinformer通过将最大化回报的目标整合到现有的序列模型中，解决了传统监督式序列模型在离线RL中忽视最大化回报核心目标的问题。Reinformer在训练阶段增加了最大化回报的目标，旨在预测在给定分布中的最大未来回报。在推理阶段，这种在分布内的最大回报将指导选择最优动作。实验结果表明，Reinformer在D4RL基准测试中与经典RL方法具有竞争力，并且在轨迹拼接能力上超越了现有的最先进的序列模型。

Method

利用transformer构建序列模型，实现不仅最大化动作$a_t$概率，还使用期望回归（expectile regression）来使预测回报$g_t$，尽可能接近当前历史轨迹下可实现的最大回报。
对动作预测的损失函数为
$$\begin{gathered} {\mathcal{L}}_{\mathrm{a}}={\mathbb{E}}_{t,n}\left[-\log {\pi }_{\theta }\left(a_t^{(n)}|{\mathbf{S}}_{t-K}^{(n)},{\mathbf{G}}_{t-K}^{(n)}\right) \\ -\lambda H\left({\pi }_{\theta }\left(\cdot |{\mathbf{S}}_{t-K}^{(n)},{\mathbf{G}}_{t-K}^{(n)}\right)\right)\right] \end{gathered}$$
对回报预测的损失函数为（该技术在IQL中也有应用）
$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{g}}^m& ={\mathbb{E}}_{t,n}\left[\left|m-1\left(\Delta g<0\right)\right|\Delta g^2\right],\\ & \mathrm{with}\Delta g=g_t^{(n)}-{\pi }_{\theta }\left({\mathbf{S}}_{t-K}^{(n)}\right)\end{array}$$
其中${\mathbf{S}}_{t-K}^{(n)}=[⟨s,g,a{⟩}_{t-K}^{(n)};s_t^{(n)}]$，而$\left({\mathbf{S}}_{t-K}^{(n)},{\mathbf{G}}_{t-K}^{(n)}\right)=\left[⟨s,g,a{⟩}_{t-K}^{(n)};s_t^{(n)},g_t^{(n)}\right]$, $g_t^{(n)}\doteq {\sum }_{t^{\prime }=t}^{T}r\left(s_{t^{\prime }}^{(n)},a_{t^{\prime }}^{(n)}\right)$

伪代码

results