OPEN TEACH：用于机器人操作的多功能远程操作系统

24年3月来自纽约大学和Meta的论文“OPEN TEACH: A Versatile Teleoperation System for Robotic Manipulation”。

开源、用户友好的工具构成了跨学科科学进步的基石。数据驱动学习的广泛采用，已在多指灵活性（dexterity）、双手操作以及从物流到家用机器人的应用方面取得了显著进展。然而，现有的数据收集平台通常是专有的、昂贵的或针对特定机器人形态量身定制的。OPEN TEACH，是一种远程操作系统，利用 VR 耳机让用户沉浸在混合现实中，实现直观的机器人控制。OPEN TEACH 以价格实惠的 Meta Quest 3（售价 500 美元）为基础，通过易于使用的应用程序实现对各种机器人的实时控制，包括多指手、双手臂和移动操纵器。使用自然的手势和动作，用户可以以高达 90Hz 的频率操纵机器人，并获得流畅的视觉反馈和提供近景环境视图的界面小部件。在 38 个不同机器人任务中展示 OPEN TEACH 的多功能性。全面的用户研究表明，与 AnyTeleop 框架相比，远程操作能力有了显著提升。进一步的实验表明，收集的数据与 10 个灵巧且接触丰富操作任务的策略学习兼容。OPEN TEACH 目前支持 Franka、xArm、Jaco、Allegro 和 Hello Stretch 平台。

OPEN TEACH 完全开源：https://open-teach.github.io/

基于学习方法的整合引发了机器人技术的革命，显著提高了操控能力 [10, 67, 7, 53]、运动能力 [17, 36, 57, 9] 和航空机器人技术 [65, 16, 26]。最近的研究在复杂的单任务行为学习 [60, 4, 67]、多任务场景 [43, 5]、多模态行为学习 [52, 13, 11, 49] 和预训练行为模型的有效微调 [21, 22, 40] 方面取得了进展。所有这些研究线索的基本要求是需要以任务演示的形式收集数据。

常用的遥操作系统，包括操纵杆和 3D 空间鼠标 [34, 55]、商用的 VR 头盔 [19, 66, 3, 4, 48, 18]、动觉教学 [6] 和手机遥操作 [37] 等设备。上述设备经济高效且易于设置。然而，它们通常使用起来不直观，需要大量的用户训练才能演示复杂的动作。最近提出的基于外骨骼遥操作框架，如 ALOHA [67]、GELLO [61] 和 AirExo [14]，试图让人类遥操作员直接控制运动学同构的同一机械臂，来缓解这一问题。这些框架在遥操作过程中直接对机械臂施加运动学约束，使其能够更兼容、更直观地控制机器人的运动。虽然这些系统非常有效，但它们可能需要为每个受控机器人配备一个额外的机器人，初始设置成本很高，并且是针对特定机器人形态设计的。

由于动作空间维度高，易于使用的远程操作设备的挑战在灵巧操作问题 [24, 47, 3, 4] 中更为明显。此类框架通常涉及使用昂贵的手套 [8, 29, 32]、广泛的标定过程 [24, 3]，或者容易受到单目遮挡的影响 [3]。

给定一个以观察-动作对 D = {(o, a)} 形式表示的所需任务专家部署数据集，行为克隆 (BC) 旨在学习一个策略 π : O → A，对该数据进行建模，而无需与环境进行任何在线交互，也无需奖励函数。

逆强化学习 IRL 分别采用 FISH [22] 和 TAVI [20] 来学习视觉和视觉触觉策略。对于这两种方法，第一阶段涉及获取一个非参数化基策略 πb : Z → A，其编码表示为 z，动作为 a。残差策略 πr : Z×A → A 在基策略 πb 之上学习，使得从最终策略 π 中采样的动作是基动作 ab 与残差偏移 ar 之和。通过逆强化学习（IRL）学习残差策略的奖励是通过基于最佳传输的轨迹匹配获得的 [21, 12]。

如图所示：OPEN TEACH 是一个统一的机器人远程操作框架，支持多臂和多手，允许移动操作，无需标定，可在模拟和现实环境中工作。OPEN TEACH 使用 VR 耳机进行远程操作，并提供低延迟和高频视觉反馈。这种高频操作允许人类用户实时纠正机器人错误，从而有助于执行复杂的长期任务。从制作三明治、熨烫衣服到将物品放入篮子并提起它，以及靠近橱柜并打开它，OPEN TEACH 为各种应用提供全面、用户友好的远程操作体验。

如表所示将 OPEN TEACH 与各种机器人类型的其他各种远程操作系统进行比较。

用 Meta Quest 3 VR 耳机将人类操作员置于虚拟世界中。耳机以 2064 × 2208 的分辨率和 90Hz 的刷新率将人类置于虚拟环境中。这款耳机的基础版价格实惠，仅为 499 美元，重量相对较轻，为 513 克。与之前研究 [4] 中使用的 Meta Quest 2 VR 耳机相比，Quest 3 提供了全彩色透视功能，使人类可以在遥控操作期间直接查看机器人设置。这些功能（尤其是全彩色透视功能）使用户可以舒适直观地操作。此外，与使用Meta Quest 2 VR 耳机的 Arunachalam 研究 [4] 类似，Quest 3 API 接口允许创建自定义混合现实世界，在 VR 中可视化机器人系统以及诊断面板。

如图所示 OPEN TEACH 中的远程操作模块概述。在 VR 界面中提供手部和手腕姿势，控制器将关键点数据传输到机器人的服务器。然后，服务器转换并重定位这些关键点以与特定的机器人设置保持一致。远程操作场景的实时视觉反馈会迅速传回 VR 耳机。

如图所示从 VR 应用程序查看的演示收集过程。此处显示的是针对每个真实世界设置执行的一项任务。高分辨率图像以 90 Hz 的频率传输到 VR 应用程序，与之前基于 VR 的系统相比，可提供身临其境的体验和改进的远程操作。高帧率传输使用户能够进行反应控制，而用于可视化机器人摄像头视图的小部件可帮助用户专注于精细的动作。

值得注意的是 Quest 3 中可见场景透视的卓越清晰度。人类操作员可以通过耳机体验场景的 3D 视图，大大增强了远程操作体验的直观性。
与 Arunachalam [4] 类似，直接使用 Quest 3 内置的手势估计器 [23]，该估计器带有 2 个单色摄像头。与单摄像头替代方案 [64] 相比，这种方法的鲁棒性要高得多。此外，由于摄像头是内部标定的，不需要以前多摄像头遥控框架 [24, 47] 中所需的专门标定程序。而且，由于手势估计器集成在设备中，它可以以 90Hz 的频率传输实时手势。这减轻了获取高精度和高频率手势的挑战，如先前的工作 [24, 3] 中所述。

VR 头戴设备内置的手势估计功能，提供了人手和手腕所有手指的关节位置。有了这些信息，就可以设计包装器（wrapper），使用这些关节位置的组合将人手姿势，映射到任何给定机器人形态的机器人姿势。这项工作使用了各种机械臂，每个机械臂都配有 2 指夹持器（gripper）或多指机械手。

机械臂。用腕部关键点以及食指和小指的指关节（knuckle）点建立一个 3D 坐标系，其中 2D 平面沿着人手的手掌，第三个轴垂直于手掌。然后，将腕部位置映射到机器人末端执行器位置，并将 3D 坐标系随时间的变化映射到末端执行器方向的变化。

机械手。从 VR 获得的教师手势，计算教师手中的各个关节角度。给定这些关节角度，一种简单的重定位方法是直接命令机器人的关节到相应的角度。实际上，这种方法对拇指以外的所有手指都很有效。为了解决这个问题，改进 Arunachalam [4] 的方法，其中将老师拇指尖端的空间坐标映射到机器人手的空间坐标，然后使用逆运动学解算器来计算拇指的关节角度。由于 Allegro Hand 没有小指，忽略操作员的小指关节。

双指夹持器。为了检测双指夹持器的打开和关闭，利用小指和拇指之间的捏合（pinch）。通过计算两个手指尖端之间的距离并设置捏合距离的阈值来检测捏合。用一个切换（toggle）机制来打开和关闭夹持器，每次捏合都表示切换（toggling）到夹持器的备用状态。

移动机械手。为控制机器人手臂而建立的相同 3D 坐标系，用于将手腕的运动映射到移动机器人的动作。当手腕向前移动时，它会伸展机器人的手臂，使其能够伸得更远。垂直的手腕运动可调节机器人的高度，而横向的手腕运动则通过控制轮子使机器人侧向移动。随时间变化的 3D 变换，被映射到末端执行器方向的变化。通过食指和拇指之间的捏合（pinch）来控制夹持器的打开和关闭。

这些只是如何使用手势数据来获得人手和机器人之间的映射的几个例子。如下代码片段总结了所提出框架的简单性。

OPEN TEACH 背后的主要思想是，只要有 VR 耳机，最终用户就可以灵活地使用人手姿势作为输入来设计自己的人-机器人包装器。该框架旨在与任何机器人设置轻松集成，允许机器人远程操作实时流（高达 90Hz）和低延迟视觉反馈。与之前基于外骨骼的远程操作框架（如 GELLO [61] 和 AirExo [14]）相比，这大大降低了初始设置成本。

实现最小误差和低延迟对于 OPEN TEACH 来说至关重要，因为它可以方便人类操作员直观地远程操作机械手。本研究用 Allegro Hand 作为机械手，通过 ROS [59] 通信框架异步控制它。使用从重定位过程中计算的机器人关节位置，PD 控制器以 300Hz 的频率输出所需的扭矩。为了减轻稳态误差，包括一个重力补偿模块来计算偏移扭矩。

在评估中使用三种不同的机械臂——xArm、Franka Emika Panda 和 Kinova Jaco。对每种机械臂使用不同的控制器。xArm 直接通过官方 xArm API [63] 控制。Franka Emika Panda，采用 Deoxys 控制器 [69]。Kinova Jaco，使用 Arunachalam [3] 的开源控制器。Allegro Hand 的流式传输频率配置为 60 Hz，而 xArm、Franka Emika Panka 和 Kinova Jaco 手臂的频率分别设置为 90 Hz、60 Hz 和 60 Hz。如此高频率的远程操作使人类操作员可以实时看到机器人的动作，并立即纠正机器人的执行错误。Hello Stretch 使用 Shafiullah [53] 发布的控制器以 5Hz 进行控制。人手比机器人拥有的自由度更少。作为回应，引入暂停功能，允许操作员暂时停止远程操作，重新调整方向，然后恢复该过程。此外，还实现分辨率调整功能，可为高精度任务（例如小心翼翼地拿起茶包）提高性能。

如图是真实世界操作任务的演示例子：