双手灵活完成复杂任务

24年11月CoRL‘24来自CMU的论文“Bimanual Dexterity for Complex Tasks”。

为了训练通用机器人策略，机器学习方法通​​常需要大量专家级的人类远程操作数据。对于人类来说，理想的数据收集机器人是能够密切模仿人类的机器人：双手手臂和灵巧手。然而，创建这种具有超过 50 个自由度的双手远程操作系统是一项重大挑战。为了解决这个问题，BiDex 是一种极其灵巧、低成本、低延迟且便携的双手灵巧远程操作系统，它依赖于动作捕捉手套和教师手臂。将 BiDex 与 Vision Pro 远程操作系统和 SteamVR 系统进行比较，发现 BiDex 能够以更快的速度为更复杂的任务生成更高质量的数据。此外，还展示 BiDex 操作移动双手机器人执行野外任务。 机械手（5000 美元）和远程操作系统（7000 美元）易于复制，可用于许多机械臂，包括两个 xArms（16000 美元）。

人类环境中的通用机器人，需要执行各种具有挑战性的操作任务。这些任务包括拧入小物体等复杂动作、切菜、操作工具以及移动家具等大型物体。这些任务都是围绕人类构建的，与人类可以执行的活动相对应。人类双手的多功能性，对于从写作和创作艺术到键盘打字等更精细的任务至关重要。因此，构建这种多功能机器人系统的一种方法是使用一种硬件形式，其类似人类，每个手臂都配备灵巧的多指手。

随着数据驱动的机器学习方法和低成本硬件的出现，人们对人形机器人和灵巧的手重新产生了兴趣。机器学习方法有望利用大量数据实现高维机器人系统的有效自主控制 [2、3、4、5、6]。一个关键问题仍然存在：如何为双手机器人收集高质量的专家数据？这样的数据收集系统必须成本低、易于设置和使用、低延迟，最重要的是足够准确。遥控操作员应该毫不费力地收集机器人执行复杂任务的高质量数据，以训练机器人策略。

为了解决这个问题，VR 耳机因其易于使用的内部身体跟踪系统而变得越来越普遍 [7, 8]。然而，手腕跟踪经常抖动，手指跟踪不准确。为了缓解这个问题，SteamVR [9] 使用了激光雷达，它提供了噪声较小的估计，但需要外部跟踪设备，这不允许为移动机器人设置收集数据。为了获得更高保真度的读数，有研究使用动作捕捉和基于反射标记（marker）的方法，如 Vicon 或 Optitrack[10]，但它们非常昂贵且难以设置。近年来，在机器人学习中使用的动作捕捉技术的一个方面是可穿戴手套 [11, 1, 12, 13]，用于手部跟踪，它使用 EMF 传感器记录人体指尖的位置。精确的 Manus Meta 手套 [14] 是系统的一部分。

对于手臂追踪，机器人社区的研究人员最近一直在使用关节级远程操作 2-指夹持器 [15, 16]。Wu [16] 发现，一个低成本 3D 打印缩放教师手臂模型，其具有与大型机器人手臂相同的运动连杆结构，可用于准确有效的远程操作。这些方法仅提供一个手指追踪自由度，而不是人手 22 个以上自由度。

机械臂遥控。许多常见的遥控方法包括使用操纵杆、空间鼠标 [17]、基于视觉的方法 [18, 19] 和 VR 耳机 [20, 8, 7]，它们通过逆运动学控制手臂。基于关节的遥控控制已用于动觉教学、Brantner & Khatib [21]、ABB YuMi [22] 和达芬奇机器 [23] 等领域，最近 [24, 25] 推出了一种低成本版本，带有镜像 Trossen 机械臂。GELLO [16] 使用轻便廉价的 3D 打印教师臂来控制全尺寸机械臂。

机械手遥控。高维度使得跟踪人手特别困难。为了控制机械手，许多基于视觉的技术（例如 [26, 27, 19]）不需要专门的设备，但精度不高。 Shadow Hand 开发了一个专业系统，该系统使用 SteamVR 和两只手套来控制两只 Shadow Hands [28]。最近，双手机器人手和追踪技术已经可以用于学术实验室。Dexcap 使用 LEAP Hand [1]，并使用手套和基于 SLAM 的机器人摄像头来追踪人类。Hato [11] 使用 VR 耳机和控制器来控制两只 6 DOF Psyonic Hands [29, 30]。控制机器人手的一个关键问题是如何将人手配置映射到机器人手关节。一些基于逆运动学的方法，可以优化人手和机器人手之间的捏合抓握 [11, 26, 19, 27]。

动作捕捉。动作捕捉和图形学贡献，通常在机器人遥控领域很有用。由外而内的动作捕捉方法，使用外部传感技术来追踪场景中的人体或其他物体。SteamVR 使用外部激光器和可穿戴无线激光接收器。[9] 基于 Vicon 的系统使用反射球和外部摄像头进行追踪。由内而外的方法（例如 XSens [31] 或 Rokoko suit）依赖于身体上的 IMU，但这些 IMU 通常会随时间推移而漂移，需要重新标定 [32, 29]。对于手部数据，许多基于视觉的方法（例如 Frankmocap [33]）会返回 MANO [34] 参数，这些参数可以转换为机器人手部关节角度。

从专家演示中学习。最近，机器人学习社区在模仿学习算法的发展推动下，在从演示中学习方面取得了显著成功 [35, 36]。为了补充这些进步，人们做出了巨大努力来扩大机器人数据集，以促进功能更强大的机器人系统 [37, 38, 39, 40]。尽管做出了这些努力，获取机器人数据仍然是一项昂贵且具有挑战性的工作。为了解决这些问题，低成本硬件的发展有助于实现机器人技术的民主化，从而实现更广泛的研究和应用 [41, 24, 25, 42]。然而，这些系统主要集中于简单的夹持器功能；而在机器人系统中实现更复杂的灵活性和直观控制的挑战，需要双手灵巧伸缩操作系统。

主要见解是开发一个将这种基于关节的手臂追踪与 Mocap 指尖手套相结合的系统，以实现手臂和手系统的精确低成本远程操作。BiDex，是一种适用于任何环境下野外双手和手臂的灵巧低成本远程操作系统。操作时，用户戴上两个动作捕捉手套，自然移动以完成日常灵巧任务。手套捕捉准确的手指跟踪，将动作自然地映射到机器人手上。GELLO [16] 启发的手臂跟踪，准确跟踪机器人手臂的人体手腕位置和关节角度。系统收集的数据可用于使用模仿学习训练有效策略，之后双手机器人系统可以自主执行任务。BiDex 一副 Manus 手套的成本约为 6,000 美元，适用于许多现有机器人手臂手臂远程操作的成本为数百美元。即使包括演示中使用的机器人手臂（$8k xArms x2）和机器人手（$3k LEAP Hand V2 x2），总成本也低于 30,000 美元。本文将数据收集的准确性和速度与其他常用系统进行了比较：VR 耳机和 SteamVR。

BiDex 系统允许任何操作员轻松地远程操作双手机器人手和手臂装置。BiDex 的设计非常精确、价格合理、低延迟且便携，可以控制任何一对类似人类的灵巧手，即使是那些自由度超过 20 度的手。它使用基于 Manus VR 手套的系统 [14] 实现对人手的精确跟踪，并通过受 GELLO 启发的系统 [16] 实现对人臂的跟踪。如下算法概述了使用双手发送命令和收集数据的过程。重要的是，解决方案在桌面和移动环境中均可无缝运行，因为它不需要外部跟踪设备并且便携性很高。该系统与当今广泛使用的方法（例如 VR 耳机和 SteamVR）相比非常直观、精确且具有成本效益，适用于两对不同的开源机器人手，LEAP Hand [1] 和 LEAP Hand V2 [43]。

双手灵巧性如图所示：BiDex 可以毫不费力地远程操作各种复杂任务，包括倒水、舀水、锤击、拿筷子、拿衣架、拿起篮子、钻孔、捡盘子和拿锅，训练具有超过 50 个自由度的高质量行为克隆策略。远程操作系统和两只 LEAP 手 [1] 总成本约为 12,000 美元，学术实验室可以轻松复制。

如图所示移动双手遥控系统：在左图操作员被绑在 BiDex 上，在右图双手机器人设置包括两个 xArm 机械臂、两个 LEAP 手 [1] 和 AgileX 基座上的三个摄像头。

如图说明行为克隆的策略架构。行为克隆策略将 RGB 图像和当前手关节角度（本体感受）作为输入。通过 ViT [3] 获取图像观察的tokens，通过线性层获取关节本体感受的tokens。ViT 的权重从 [4] 中的 Soup 1M 模型初始化。然后，token通过动作分块Transformer（ACT） [5]（编码器-解码器Transformer）输出一系列动作。动作空间是两只手臂和两只手的绝对关节角度。一个可以大大提高策略泛化能力的关键决策，是从本体感受中排除当前手臂关节。直观地说，这可能会迫使模型从图像观察中提取目标信息，而不是过拟合预测接近当前手臂状态的动作。