WATCH, TRY, LEARN: META-LEARNING FROM DEMONSTRATIONS AND REWARDS

（感觉有点从失败中学习的意思）

发表时间：30 Jan 2020

论文链接：https://readpaper.com/pdf-annotate/note?pdfId=4545005537963171841&noteId=2453371997770644736

作者单位：UC Berkeley

Motivation：模仿学习允许代理从演示中学习复杂的行为。然而，学习复杂的基于视觉的任务可能需要不切实际的演示次数。元模仿学习是一种很有前途的方法，通过利用学习相似任务的经验，使agent能够从一个或几个演示中学习新任务。

解决方法：在任务歧义或未观察到的动态存在的情况下，仅通过演示可能无法提供足够的信息；agent还必须尝试任务成功推断策略。在这项工作中，我们提出了一种可以从具有稀疏奖励反馈的演示和试错经验中学习的方法。

实现方式：为此，我们开发了一种新的元学习算法，该算法将模仿学习的元素与试错强化学习相结合。

本文的主要贡献是一种元学习算法，可以通过单一的演示和试验经验来学习新行为。在收到说明新目标的演示后，元训练代理可以通过少量仅具有二进制成功或失败标签的试错（人类反馈）来学习实现这一目标。

我们的目标是构建一个代理，它首先可以从一个演示中推断出策略，然后在收到二进制用户反馈(成功还是失败的反馈)时使用该策略尝试任务，最后使用反馈来改进其策略，使其能够始终如一地解决任务。

实验：夹持器环境是一个现实的3D模拟，如图5所示。夹持器任务分为四个广泛的任务类别:按钮按下、抓取、推送和拾取和放置。

结论：Watch-Try-Learn (WTL) 方法使非专家用户能够训练代理执行新任务的自然方式：by demonstrating the task and then observing and critiquing（评判） the performance of the agent on the task if it initially fails.