ACE：低成本灵巧遥控操作的跨平台视觉外骨骼系统

24年8月来自UCSD的论文“ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation”。

从演示中学习，已被证明是一种有效的机器人操作方法，特别是对于最近收集的、带有遥操作系统的、大规模机器人数据。构建跨不同机器人平台的高效遥操作系统，变得比以往任何时候都更加重要。然而，对于不同的终端执行器（例如，可跨多个平台操作的拟人机器人手和夹持器），明显缺乏经济高效且用户友好的遥操作系统。为了解决这个问题，提出 ACE，一种用于低成本灵巧遥操作的跨平台视觉外骨骼系统。系统利用手部摄像头捕捉 3D 手部姿势，并使用安装在便携式底座上的外骨骼，能够准确实时捕捉手指和手腕姿势。与以前系统通常需要根据不同的机器人进行硬件定制相比，这种单一系统可以泛化到具有高精度遥操作的人形手、手臂-手、手臂-夹持器和四足夹持器系统。这使得不同平台上进行复杂操作任务的模仿学习成为可能。

近年来，使用真实世界机器人数据训练机器人基础模型的有效性，导致人们对数据收集的关注度显著提高。远程操作已成为一种重要的数据收集方法，使研究人员能够演示和记录复杂的机器人任务。各种解决方案，包括 VR 系统 [1、2、3]、动作捕捉系统 [4、5]、可穿戴手套 [6、7] 和低成本设备 [8、9]，都已开发出来以促进远程操作，每种解决方案在可访问性、精度和通用性方面都具有独特的优势。在评估这些现有系统时，出现了一个关键问题：必须捕获哪些关键信息才能在各种机器人平台上有效地执行灵巧的操作任务？

答案很简单：准确的手势和末端执行器位置，这可以通过低成本硬件实现。ACE就是一种用于低成本灵巧遥操作的跨平台视觉外骨骼系统，如图所示。该系统由两个双手外骨骼臂和两个用于手势跟踪的摄像头组成。结合模块化底座设计，可以跨各种末端执行器和机器人平台执行远程操作。

对于手势捕捉，利用低成本摄像头结合 3D 手势估计方法 [10，11，12]。为了解决基于视觉的系统常见的遮挡问题，设计在外骨骼的末端执行器上安装了一个摄像头，确保它始终跟随手的正面。3D 打印的外骨骼通过前向运动学提供精确的末端执行器位置。这样，机器人硬件就不需要与遥操作系统的形态相匹配。在遥操作过程中，当操作员移动外骨骼和手时，会实时捕捉手根末端执行器的位置和手势。然后，用逆运动学将机械臂末端执行器与人手末端执行器位置进行映射。这使得人手和机械手之间的运动重定位变得有效，从而能够精确控制机器人的手指。

下表是各种遥操作的系统比较：

如图所示 ACE 远程操作系统的架构。系统读取外骨骼马达的关节角度和手部图像，通过前向运动学和手部检测算法来估计手腕和手部的姿势。通过不同的操作模式，可以在不同的末端执行器和机器人平台上执行远程操作。

系统由 3D 打印双手外骨骼和安装在外骨骼末端的两个面向手的低成本网络摄像头组成。外骨骼的关节位置跟踪通过前向运动学提供准确的手腕姿势，两个摄像头提供精确的手部姿势跟踪。通过结合这两个信息源，系统可以实现相对于世界坐标的实时手部姿势跟踪。

获得准确的手部姿势后，将其映射到各种机器人平台上的目标机器人姿势。在控制映射后，可以远程操作机器人并收集演示以进行模仿学习。在实验中，展示远程操作系统在一系列具有各种末端执行器机器人上的有效性，包括带有 Ability Hand 的 Xarm、带有 Inspire Hand 的 H1、带有 Z1 的 B1、带有夹持器的 Franka 和带有夹持器的 GR-1。

如图所示 ACE 的硬件组件。左图：组装好的外骨骼，位于固定的桌面底座上。右图：一只手臂的零件。展示两个不同尺寸的腕部连接器和连杆。

如图所示跨平台远程操作的细节。该图展示了有效远程操作不同机器人的各种控制模式，包括正常/镜像模式和手/夹持器配置。此外，它还说明了双基座设置在各种场景中的应用。在双臂+手设置中，使用带有桌面基座的正常模式来控制带有能力手的 xArm。人形机器人+手设置采用带有桌面基座的镜像模式来控制机器人。在四足动物+夹持器设置中，右手在正常模式下控制机器人，而左手使用简单的姿势以固定速度使用预训练的低级控制策略来管理四足机器人的运动。移动基座允许操作员跟随机器人的运动，从而实现更好的控制。

如图所示跨平台远程操作示例。示例 1-3 在 xArm 上通过能力手设置执行：1) 堆叠、2) 提供咖啡、和 3) 焊接。示例 4-7 在 H1 上通过授意手设置执行：4) 喷洒、5) 传递、6) 移液、和 7) 插入网球。示例 8）在带有夹持器的 GR-1 上执行装箱任务。示例 9）以带有 Z1 设置的 B1 为例，演示购物车推动任务。示例 10）在带有夹持器的 Franka 上执行拾取杂物的任务。