CyberDemo：增强模拟人体演示以实现现实世界的灵巧操作

CyberDemo：增强模拟人体演示以实现现实世界的灵巧操作
CyberDemo是一种机器人模仿学习的新颖方法，它利用模拟人类演示来完成现实世界的任务。通过在模拟环境中结合广泛的数据增强，CyberDemo 在转移到现实世界时优于传统的域内现实世界演示，可以处理不同的物理和视觉条件。无论数据收集的经济性和便利性如何，CyberDemo 在各种任务的成功率方面都优于基准方法，并且对以前未见过的对象表现出普遍性。例如，它可以旋转新颖的四阀和五阀，尽管人类演示只涉及三阀。我们的研究证明了模拟人体演示对于现实世界灵巧操作任务的巨大潜力。

我们提出了 CyberDemo，这是一种通过使用模拟数据来学习现实世界灵巧操作的新颖管道。首先，我们在模拟环境（蓝色区域）中收集人体演示，然后在模拟器中进行广泛的数据增强（黄色区域）。然后，在增强数据上进行训练并在一些真实数据上进行微调的模仿学习模型可以部署在真实的机器人上。

网络演示管道。首先，我们通过基于视觉的远程操作收集模拟和真实演示。接下来，我们结合所提出的数据增强技术，在模拟数据上训练策略。在训练过程中，我们应用自动课程学习，根据任务表现逐步增强随机性尺度。最后，在部署到现实世界之前，该策略通过一些真实的演示进行了微调。