DexCap：可扩展、便携的运动捕捉数据收集系统，用于灵巧操作

24年7月来自斯坦福的论文“DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation”。

从人类手部运动数据中进行模仿学习，为现实世界的操作任务中赋予机器人de 类人灵活性，提供了一种有希望的途径。尽管有这种潜力，但仍存在重大挑战，特别是现有手部运动捕捉 (mocap) 系统的可移植性以及将 mocap 数据转换为有效机器人策略的复杂性。为了解决这些问题，一个便携式手部运动捕捉系统 DEXCAP，以及一种模仿算法 DEXIL，用于直接从人手 mocap 数据训练灵巧的机器人技能。DEXCAP 基于 SLAM 和电磁场以及对环境的 3D 观察，提供精确、抗遮挡的手腕-手指运动跟踪。利用这个数据集，DEXIL 采用逆运动学和基于点云的模仿学习，用机器人手无缝复制人类动作。除了直接从人类运动中学习之外，DEXCAP 还在策略推出期间提供可选的人-在-环校正机制，改进并进一步提高任务性能。通过对六项具有挑战性的灵巧操作任务进行广泛的评估，该方法不仅展示卓越的性能，而且还展示系统从野外动作捕捉数据中有效学习的能力，在追求人类水平的机器人灵巧性中，为未来数据收集方法铺平了道路。

构建机器人系统来执行日常操作任务是一项长期存在的挑战。生活环境和日常物品在设计时都考虑到了人手的功能，这对开发未来的家用机器人提出了巨大的挑战。机器人灵活性方面的最新突破，尤其是在控制具有高自由度的多指机械手方面，已经显示出巨大的潜力 [1- 3]。然而，由于硬件和算法方面的挑战，机械手在操作任务中模仿人类水平的灵活性，仍未解决。

模仿学习 (IL) [4, 5] 最近朝着这一目标 [6, 7] 取得了长足的进步，特别是通过使用人类演示数据进行监督训练。一种常用的数据收集方法是遥控机械手来执行任务。然而，由于需要真实的机器人系统和缓慢的机器人动作，这种方法的扩展成本很高。另一种方法是在操作过程中直接跟踪人手运动而不控制机器人。当前的系统主要基于视觉，使用单视角摄像头。然而，除了跟踪算法是否能提供对机器人策略学习至关重要的精确 3D 信息的问题之外，这些系统还容易受到手部与物体交互过程中经常发生的视觉遮挡影响。

用于收集灵巧操作数据的基于视觉方法，有一个更好替代方案是通过动作捕捉 (mocap)。Mocap 系统提供准确的 3D 信息，并且对视觉遮挡具有鲁棒性。因此，人类操作员可以直接用手与环境交互，这样更快而且更容易扩展，因为不需要机器人硬件。为了将手部动作捕捉系统扩展到日常任务和机器人学习环境中的数据收集，合适的系统理想情况下应该是便携的，并且对于长时间的捕捉会话具有鲁棒性，提供准确的手指和手腕姿势，以及 3D 环境信息。大多数手部动作捕捉系统不便携，并且依赖于经过良好标定的第三视角相机。虽然电磁场 (EMF) 手套克服了这个问题，但它们无法跟踪世界框架中的 6-DoF 手腕姿势，这对于末端执行器的策略学习很重要。基于 IMU 的全身套装等设备可以监测手腕位置，但随着时间的推移容易出现漂移。

除了硬件挑战之外，使用动作捕捉数据进行机器人模仿学习也存在算法挑战。虽然灵巧的机器人手可以直接从人手数据中学习，但机器人手和人手在尺寸、比例和运动结构方面的固有差异，需要创新算法来克服这些体现差距。

灵巧操作一直是机器人领域的一个长期研究领域 [15–19]，由于自由度高，给规划和控制带来了重大挑战。传统的最优控制方法 [17–19] 通常需要简化接触，而这在更复杂的任务中通常是站不住脚的。最近，人们开始探索强化学习，以在模拟环境中学习灵巧策略，对任务或环境的假设最少 [2, 20– 29]。学习到的策略可以解决复杂的任务，包括手中物体重定位 [2, 20, 23–25, 28]、双手操作 [26, 30] 和长范围操作 [22, 27]。然而，由于模拟与现实之间的差距，将学习的策略部署到现实世界的机器人上仍然具有挑战性。另一方面，模仿学习侧重于直接从现实世界的演示数据中学习，这些数据可以通过远程传送 [1, 6, 31, 32] 或人类视频 [3, 33, 34] 获得。DIME [31] 使用 VR 遥控灵巧手进行数据收集；Qin [35] 使用 RGB 摄像头跟踪遥控操作的手部姿势；DexTransfer [36] 使用人体动作捕捉数据来引导灵巧的抓握；DexMV [33]、DexVIP [34] 和 VideoDex [3] 利用人体视频数据来学习运动先验，但通常需要在模拟或真实的机器人遥控数据中进行额外的训练。

人手动作捕捉是计算机视觉和图形学应用的重要技术。之前的大多数系统都是基于摄像头、IMU 或电磁场 (EMF) 的。基于摄像头的系统使用单目摄像头 [37–39]、RGB-D 摄像头 [40–42]、VR 耳机 [43] 或带标记的多视角摄像头 [44, 45]。然而，在手与物体交互中经常发生严重遮挡的情况下，手部运动跟踪的质量会迅速下降。其中一些系统还需要第三视角标定的摄像头，这些摄像头不便携或不可扩展。最近，惯性测量单元 (IMU) 已用于野外人体动作捕捉 [46–50]。然而，它们中的大多数都专注于全身动作捕捉，而忽略了细粒度​​的手指动作。基于 EMF 的动作捕捉手套设计用于捕捉手指动作，广泛用于灵巧的遥控操作 [51–53]。然而，手套无法跟踪环境中的 6-自由度手掌姿势，并且无法通过视觉观察来训练机器人策略。

模仿学习 (IL) 使机器人能够成功执行各种操作任务 [4, 54–60]。传统的 IL 算法（例如 DMP 和 PrMP [61–64]）具有较高的学习样本效率，但在处理高维观测值方面的能力有限。相比之下，最近基于深度神经网络构建的 IL 方法可以使用原始图像观察输入学习策略 [65, 66]，即使对于具有双手手臂的高阶机器人系统也是如此 [67, 68]。尽管模仿学习非常有效，但它面临的一个关键挑战是如何扩大训练数据。先前的研究主要关注遥操作数据 [66, 69–77]，由于机器人硬件的要求，这些数据的收集成本很高。最近，从人体运动数据中学习开始受到更多关注，因为它允许在没有机器人硬件的情况下收集数据 [78]。通过利用人体视频 [11, 79] 和手部轨迹 [10, 80–82]，已经显示出有希望的结果，可以用更少的人工来训练策略。然而，这些人体运动是在二维图像空间中 [80, 83, 84]，无法在三维环境中直接训练 6 自由度操作策略，通常需要额外的遥操作数据来弥补这一差距 [10, 11, 79]。最近，人-在-环校正算法在机器人学习中也显示出了良好的效果 [85–87]。

最近，低成本手持夹持器的发展，已显示出在无需机器人硬件的情况下收集机器人操作数据的良好效果 [88–94]。所有这些系统都是为平行夹持器数据收集过程而设计和使用的。

为了解决这些挑战，该工作同时引入了一种便携式手部动作捕捉系统 DEXCAP 和一种模仿算法 DEXIL，使机器人能够直接从人手动作捕捉数据中学习灵巧的操作策略。如图所示，DEXCAP是一款便携式手部动作捕捉系统，可实时（60Hz）跟踪手腕的 6-DoF 姿势和手指运动。该系统包括一个动作捕捉手套，用于跟踪手指关节；一个安装在每个手套顶部的摄像头，用于使用 SLAM 跟踪手腕的 6-DoF 姿势；以及一个位于胸部的 RGB-D 激光雷达摄像头，用于观察 3D 环境。

为了捕获适合训练灵巧机器人策略的细粒度手部运动数据，DEXCAP 在设计时考虑了四个关键目标：(1) 详细的手指运动跟踪、(2) 准确的 6 自由度腕部姿势估计、(3) 在与手部统一的坐标系中记录对齐的 3D 观测值，以及 (4) 出色的可移植性，可在各种现实环境中收集数据。在实现这些目标的同时，丝毫不影响可扩展性 — DEXCAP 必须易于标定、构建成本低廉，并且对于野外日常活动的数据收集具有很强的鲁棒性。

跟踪手指运动。系统使用电磁场 (EMF) 手套，与基于视觉的手指跟踪系统相比具有显著优势，特别是在对手与物体交互中经常发生的视觉遮挡鲁棒性方面。在系统中，使用 Rokoko 动作捕捉手套跟踪手指运动，如图所示。每只手套的指尖都嵌入了一个微小的磁传感器，而信号接收器集线器则放置在手套的背面。每个指尖的 3D 位置是通过从中心到传感器的相对 3D 平移来测量的。图(a) 该装置包括胸背带上的 3D 打印支架，顶部配有 Realsense L515 LiDAR 摄像头，下方配有三个 Realsense T265 跟踪摄像头。图 (b) 背包中的英特尔 NUC 和移动电源为系统供电，可收集大约 40 分钟的数据。图 © T265 摄像头最初处于已知姿势去标定，在数据收集期间重定位到手持支架上监控手掌位置，通过一个点击式设计确保一致性。 Rokoko 手套可捕捉手指运动，准确跟踪手指关节位置。

为了验证由 DEXCAP 数据训练的机器人策略，建立一个双手灵巧机器人装置。该装置包括两个 Franka Emika 机械臂，每个机械臂都配备一个 LEAP 灵巧机械手（一个有 16 个关节的四指手）[95]，如下图（b）所示。为了进行策略评估，用于人体数据收集的胸部激光雷达摄像头从背心上拆下，并安装在机械臂之间的支架上。为了简化在人机之间切换摄像头系统的过程，相机架背面集成了一个快速释放扣，允许快速切换摄像头——不到 5 秒。这样，机器人就可以用人体数据收集相同的观察摄像头。请注意，对于机器人设置，只使用激光雷达摄像头，不需要腕部摄像头。机械臂和 LEAP 手都以 20Hz 的控制频率运行。对两个机械臂使用末端执行器位置控制，对两个 LEAP 手使用关节位置控制。

如上图 (a) 所示，由于人手和 LEAP 手的尺寸差异，出现了一个显著的挑战，后者大约大 50% [95]。这种尺寸差异使得将手指运动直接传输到机器人硬件变得困难。第一步是将人手运动捕捉数据重新定位到机器人具身中，这需要使用逆运动学 (IK) 映射手指位置和 6-DoF 手掌姿势。

指尖是手与物体交互时接触最频繁的区域（HO-3D [41]、GRAB [44]、ARCTIC [45] ）。本文用逆运动学 (IK) 匹配指尖位置来重新定位手指运动。具体来说，部署一种 IK 算法，可实时生成平滑而准确的指尖运动 [96–98]，以确定机械手的 16 维关节位置。这可确保机器人指尖与 DEXCAP 数据中的人类指尖对齐。考虑到 LEAP 手的设计（具有四个手指），在 IK 计算期间排除小手指信息来调整流程。此外，在 mocap 数据中捕获的 6-DoF 手腕姿势，可作为 IK 算法中手腕姿势的初始参考。然后，将手腕的 6-DoF 姿势 pt = [Rt|Tt] 和 LEAP 手的手指关节位置 Jt 用作机器人的本体感受状态 st = (pt,Jt)。在设置中使用位置控制，并将机器人的动作标签定义为 at = st+1 的下一个未来状态。

观察和状态表征选择，对于训练机器人策略至关重要。用相机参数将 DEXCAP 数据中激光雷达相机捕获的 RGB-D 图像转换为点云。与 RGB-D 输入相比，这种额外的转换提供了两个好处。首先，由于 DEXCAP 允许人类躯干在数据采集过程中自然移动，因此直接使用 RGB-D 输入需要考虑移动的相机坐标系。将点云观测值转换为一致的世界坐标系（定义为 mocap 开始时主 SLAM 相机的坐标框架，这里主相机在上图 © 中以红色标记），隔离并消除躯干运动，从而产生稳定的机器人观测值。其次，点云在编辑和与机器人操作空间对齐方面提供了灵活性。鉴于在野外捕获的一些运动可能超出机器人的可达范围，调整点云观测值和运动轨迹的位置可确保它们在机器人操作范围内的可行性。根据这些发现，动作捕捉数据中的所有 RGB-D 帧，都被处理成与机器人空间对齐的点云，并且排除了与任务无关的元素（例如桌面点）。因此，这些经过精炼的点云数据成为机器人策略 π 的观察输入。

利用变换后的机器人状态 st、动作 at 和相应的 3D 点云观测 ot，将机器人策略学习过程形式化为轨迹生成任务。更具体地说，策略模型 π 将点云观测 ot 和机器人当前的本体感受状态 st 处理为动作轨迹 (at, at+1, . . . , at+d)。

如图所示DEXIL 算法概述。（a）DEXIL 首先将 DEXCAP 数据重定位到机器人实例，方法是首先从 RGB-D 观测值构建 3D 点云并将其转换为机器人操作空间。同时，使用指尖 IK 将手部运动捕捉数据重定位到灵巧的手和机械臂。基于数据学习机器人策略，在机器人动作时输出一系列未来目标位置。（b）DEXCAP 还提供可选的人-在-环校正机制，其中人类将增量残差动作应用于策略生成的动作以纠正机器人行为。校正存储在新数据集中，并与原始数据集一起均匀采样，微调机器人策略。

给定 RN×3 中具有 N 个点 ot 的点云观测，将其均匀下采样为 K 个点，并将每个点对应的 RGB 像素颜色连接到 R 中的最终策略输入中。为了弥合人手和机器人手之间的视觉差距，用正向运动学将带本体感受状态 st 的机器人模型链接进行变换，并将变换后的链接点云合并到观测 ot 中。在训练期间，对机器人操作空间内的点云和运动轨迹应用随机二维平移来对输入进行数据增强。

通过上述设计，DEXIL 可以直接从 DEXCAP 数据中学习具有挑战性的灵巧操作技能（例如，拾取和放置以及双手协调），而无需机器人数据。然而，简单的重定向方法并不能解决人机体现差距的所有方面。例如，在使用剪刀时，要稳定地握住剪刀，需要将手指深深插入手柄中。由于手指长度比例的差异，直接匹配指尖和关节运动并不能保证施加在剪刀上的力相同。

为了解决这个问题，本文提供一种人在环运动校正机制，它包含两种模式 - 残差校正和远程操作。在策略执行期间，允许人类通过佩戴 DEXCAP 实时向机器人提供纠正措施。

如图展示 DEXCAP 的硬件设计。所有型号均采用 PLA 材料 3D 打印而成。胸部摄像头支架配有四个摄像头插槽：顶部是 L515 RGB-D 激光雷达摄像头，后面是三个 T265 鱼眼 SLAM 跟踪摄像头。LiDAR 摄像头和最上面的 T265 摄像头牢固地固定在摄像头支架上，而两个下方的 T265 摄像头则设计为可拆卸的，可以固定在手套背面，用于手部 6 自由度姿势跟踪。胸部和手套上的摄像头支架的设计特点包括锁定机制，以防止摄像头意外滑出。在手套上，摄像头支架位于其背部的磁性集线器上方，确保集线器和支架之间牢固连接。为了供电和数据存储，用户佩戴一个背包，背包内装有 40000mAh 便携式移动电源和一台配备 64GB RAM 和 2TB SSD 的迷你电脑。该系统的总重量为 3.96 磅，经过优化，便于移动，支持长达 40 分钟的连续数据收集。移动电源具有快速充电功能，只需 30 分钟即可充满电，支持数小时的大量数据收集。