2024/2/24: 模仿学习 Eliciting Compatible Demonstrations for Multi-Human Imitation Learning

CoRL2022 Poster
Author: Kanishk Gandhi, Siddharth Karamcheti, Madeline Liao, Dorsa Sadigh
Keywords: Interactive Imitation Learning, Active Demonstration Elicitation, Human Robot Interaction

1. Abstract

利用专家数据进行模仿学习是机器人学习操作的强大方法。但人工提供的数据往往具有同质性、低方差特点，反映出对应任务以及最优策略的单一。但是人类的行为是具有异质性，一种任务可以有不同解。本文提出一种在线交互式模仿学习框架，通过迭代收集新的演示数据不断改进策略。

为了防止新加入的演示不兼容，这项工作设计了一种方法：1）在给定基本策略的情况下测量新演示的兼容性，以及 2）主动从新用户那里引出更兼容的演示。在机械臂实验中验证了可以通过事后过滤来识别不兼容的演示，并应用兼容性度量来主动从新用户那里引出兼容的演示，从而提高模拟和真实环境中的任务成功率。

2. Method

2.1 Learning to Measure Compatibility in Multi-Human Demonstrations

兼容性测量模型$\mathcal{M}$：估计基础策略${\pi }_{base}$在基础数据集$D_{base}$与新数据集$D_{new}$上的性能

$$\mathcal{M}=\{\begin{array}{ll}1-\min \left(\frac{({\pi }_{\mathrm{bace}}(s_{\mathrm{new}})-a_{\mathrm{new}}{)}^2}{\lambda },1\right)& \text{if novelty}(s_{\mathrm{new}})<\eta \\ 1& \text{otherwise.}\end{array}$$
其中novelty则是采用${\pi }_{base}$对状态预测动作的标准差衡量。由定义可以看出，当新演示状态的novelty足够高($\ge \eta$)或者${\pi }_{\mathrm{base}}(s_{\mathrm{new}})=a_{\mathrm{new}}$兼容性度量值为1。而当$({\pi }_{\mathrm{base}}(s_{\mathrm{new}})-a_{\mathrm{new}}{)}^2\ge \lambda$时兼容性度量值0。

2.2 Actively Eliciting Compatible Demonstrations

该章节提出如何主动引入兼容演示数据。首先为操作员提供任务规范说明，例如“将锤子放进抽屉”，以及提供三组episodes的练习，然后进行主动启发过程。该过程如下图所示。

当完成新数据的收集后，采用BC将${\pi }_{base}$更新至新策略。

总结

提出了一种交互式IL算法，将新的演示内嵌到现有的数据集，使其不损害现有的策略。是否内嵌由演示与现有策略的相似性和兼容性决定。算法还提出向人类操作员提供在线反馈，告诉他们如何更好地记录演示。