Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled Datasets

发表时间：13 May 2023

论文链接：https://readpaper.com/pdf-annotate/note?pdfId=1900983943467731200&noteId=2446646993511259136

作者单位：Stanford University

Motivation：使机器人能够以数据有效的方式学习新的视觉运动技能仍然是一个未解决的问题，有无数的挑战。解决这个问题的一种流行范式是利用大量未标记的数据集，这些数据集在其中具有许多行为，然后使用少量特定于任务的人工监督（即干预或演示）将策略适应特定任务。然而，如何最好地利用少量的的特定于任务的监督并将其与离线数据平衡仍然是一个悬而未决的问题。

解决方法：我们对这项工作的关键见解是，特定于任务的数据不仅为agent提供了新的数据进行训练，而且还可以为agent应该用于学习的先验数据类型提供信息。具体来说，我们提出了一种简单的方法，该方法使用少量下游专家数据从离线、未标记的数据集（包括许多次优行为）中选择性地查询相关行为。然后agent在专家（特定于任务的）和查询到的数据上联合训练。我们观察到我们的方法学习仅查询到与任务相关的转换，过滤掉次优或与任务无关的数据。通过这样做，与näıvely混合数据或仅使用特定于任务的数据相比，它能够更有效地从任务特定和离线数据的混合中学习。

实现方式：3 main steps：(A) 使用未标记的离线数据 Dprior，我们预训练状态动作嵌入。（通过VAE实现）

(B) 我们使用预训练的嵌入在与任务数据 Dt 相关的离线数据 Dprior 中查找类似的转换。（通过多层感知(MLP)对状态和动作进行编码，形成状态-动作嵌入。也就是说，把每一对（state，action）映射成一个embedding，这个embedding来表示transitions（转变），然后用L2 distance度量embedding之间的距离，会设置一个阈值进行选择距离最小的几个transitions（转变））。

(C) 然后，我们在特定任务和重述数据的混合上使用行为克隆训练策略。（given the retrieved data, we then train the agent to jointly imitate Dret and Dt with a behavior cloning loss）（LSTM作为policy比较特别）

实验：few-shot体现在：The task data Dt for all environments contain 10 expert demos for the target task.

Dprior是由各种demo组成的。

结论：首先，一个主要的限制是我们当前的查找依赖于状态和动作的压缩嵌入空间中的相似性。其次，行为检索还依赖于在学习新任务时访问先验数据集，这可能会阻止其对仅使用预训练模型可行的内存受限场景的适用性。

未来工作：结合许多其他研究方向，以实现更有效的模仿学习（如预训练表示、受限动作空间和大规模预训练）。