Robotic Telekinesis

论文链接：https://arxiv.org/abs/2202.10448
项目链接：https://robotic-telekinesis.github.io/
论文单位：CMU

摘要

• 论文建立了一个系统，使任何人都能控制机器人的手和手臂，只需用自己的手示范动作。
• 机器人通过一个单一的RGB摄像头观察人类操作员，并实时模仿他们的动作。
• 人的手和机器人的手在形状、大小和关节结构上都不同，从一个未校准的相机进行这种转换是一个高度缺乏约束的问题。此外，重新定位的轨迹必须有效地执行物理机器人上的任务，这就要求它们在时间上是平滑的，并且没有自我碰撞。
• 我们的关键观点是，虽然收集成对的人机通信数据非常昂贵，但互联网上包含大量丰富多样的人手视频。
• 我们利用这些数据来训练一个系统，该系统可以理解人类的手，并将人类视频流重新定位为机器人的手臂轨迹，该轨迹平滑、快速、安全，并且在语义上与指导演示相似。
• 我们证明,它使以前未经训练的人们在各种灵巧的操作任务上遥控机器人。
• 我们的低成本、无手套、无标记的远程操作系统使机器人教学更容易实现，我们希望它能帮助机器人在现实世界中学会自主行动。

1. 简介

• 几十年来，制造模仿人类行为的机器人一直是机器人研究的核心组成部分。
• 这种范式被称为遥操作/远程操作，历史上用于使机器人执行人类不安全或不可能执行的任务，例如处理核材料或停用爆炸物。
• 最近，远程操作已被用于使机器人自动化的任务，很容易为人类演示，但很难编程。
• 例如，在工业机器人中，远程操作可以用来演示一个单一的轨迹(例如，从传送带上捡起一个盒子)，机器人会过度适应这个轨迹，然后逐字重复几个月或几年。
• 远程操作也可以作为收集大型演示数据集的一种手段，然后可以用来学习一种策略，该策略可以推广到未知环境中的新任务。
• 本文专门研究了灵巧机器人的遥操作问题。虽然目前有许多很有前途的技术，如动觉控制（Kinesthetic Control)，虚拟现实设备（Virtual Reality），触觉手套（haptic gloves）和动作捕捉（MoCap），但每一种都有一些缺点，妨碍了它的普遍采用。这些设置通常涉及昂贵的硬件和专业的工程，专家操作人员，或阻碍演示者的手的自然流体运动的设备。
• 克服这些缺点的挑战随着要控制的机器人的复杂性呈指数增长。多指手远比双指手更难远程操作。
• 尽管最近取得了进展，但为高自由度灵巧操作建立一个易于使用，高性能和低成本的远程操作系统仍然是难以捉摸的。
• Handa等人最近提出了DexPilot，这是一种低成本的基于视觉的远程操作系统，不需要标记或手持设备。它降低了成本和可用性障碍，但依赖于多个校准深度相机的定制设置，并使用在这种受控环境中收集的图像进行训练的神经网络，这限制了它在特定实验室环境中的使用。
• 本文的目标是实现野外灵巧机械手的远程操作。这意味着我们的系统应该是低成本的，适用于任何未经训练的操作员，在任何环境下，只有一个未经校准的彩色相机。 人们应该能够简单地查看他们的手机或平板电脑的单目相机，并控制机器人，而不依赖于任何笨重的动作捕捉或多相机平台进行准确的3D估计。
• 我们称我们的系统为Robotic Telekinesis，因为它提供了人类在没有任何物理交互的情况下从远处控制灵巧机器人的能力。
• 然而，从2D摄像机输入控制3D机械手是一个严重缺乏约束的问题。我们建议通过从网络上的被动数据中提取先验经验来学习基于深度神经网络的模拟器来解决这种模糊性。
• 然而，不幸的是，建立这样一个系统提出了一个先有鸡还是先有蛋的问题：为了训练一个可以在野外工作的远程操作系统，我们需要一个丰富多样的配对人机姿势对应数据集，但是为了收集这种数据，我们需要一个野外远程操作系统。然而，虽然我们缺乏配对的人机数据，但不缺乏丰富的人类数据，我们的关键见解是在训练时利用大量未标记的互联网人类视频语料库。这些视频捕捉了许多不同的人从不同的角度在不同的环境中完成不同的任务。
• 我们提出了一种方法，利用这些数据，结合3D人体姿态估计的最新进展和新颖的重定向算法，来训练一个估计人体-手部运动的系统，并将人类动作重新定位为机器人的手臂动作