Offlian RL: Weighted Policy Constraints for Offline Reinforcement Learning

AAAI 2023
paper

Intro

分布偏移导致离线RL对于OOD数据存在过估计问题。因此一些方法限制策略靠近行为策略。但是着很大程度受限于数据集的质量。若是数据集存在非专家，一个自然的问题是是否有可能构建一个更合理的策略约束方法，该方法通过识别数据集中状态-动作对的优越性，将学习到的策略限制为理想的行为，而不是较差的行为?

为了识别理想的动作，文章考虑加权克隆的离线方法。通过学习优势函数值判断。然而该方法无法超越离线数据集的最优策略。并且对于数据集外的未知状态可能预测错误动作。

本文方法weighted policy constraints (wPC)则是将策略约束方法与加权克隆方法结合。

Method

基于TD3+BC的方法，对BC惩罚项加入动态更新的加权参数项：
$$\begin{array}{rl}{\pi }_{\theta }:& =\arg \underset{{\pi }_{\theta }}{\max }{\mathbb{E}}_{s,a\sim B}[\lambda Q(s,{\pi }_{\theta }(s))-w(s,a)({\pi }_{\theta }(s)-a{)}^2],\\ w(s,a)& =\mathbb{I}[\hat{A}(s,a)>0]=\mathbb{I}[{\hat{Q}}_{\varphi }(s,a)-{\hat{V}}_{\psi }(s)>0],\end{array}$$
算法伪代码：