本文介绍了一种名为SEABO的离线强化学习方法，通过无监督学习方式为无标签数据分配奖励，利用KD-tree搜索最近的专家演示，设计基于距离的奖励函数，结合其他OfflineRL方法进行策略优化。算法提供了解决现实环境中数据标注难题的新途径。
NIPS 2024
paper
Intro
离线强化学习一般需要带奖励标签的数据，而现实中这种标签获取困难。本文提出一种基于搜索的离线方法SEABO。SEABO以无监督学习的方式，对最接近专家演示的transaction较大的奖励，否则分配较小的奖励。
Method
SEABO采用KD-tree搜索最近邻的专家数据，距离度量方法采用默认的欧氏距离： d = D ( ( s ~ e , a ~ e , s ~ e ′ ) , ( s , a , s ′ ) ) d=D((\tilde{s}_{e},\tilde{a}_{e},\tilde{s}_{e}^{\prime}),(s,a,s^{\prime})) d=D((s~e,a~e,s~e′),(s,a,s′))。
奖励函数的设计将基于上面的距离
d
:
r
=
α
exp
(
−
β
×
d
∣
A
∣
)
d:r=\alpha\exp\left(-\frac{\beta\times d}{|\mathcal{A}|}\right)
d:r=αexp(−∣A∣β×d)。这样无标签的数据将获得奖励标签，然后结合其他Offline RL方法进一步优化策略。算法伪代码如下：
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
