Meta，CMU 和 ETU Zurich联合研究：仿真人形机器人的灵巧抓取与物体操作

作者介绍了一种控制模拟仿人抓取物体并按照物体轨迹移动的方法。由于控制具有灵巧双手的仿人机器人面临挑战，先前的方法通常使用非实体手，并且只考虑垂直升降或短轨迹。这种有限的范围阻碍了它们对动画和模拟所需的物体操纵的适用性。为了缩小这一差距，作者学习了一种控制器，它可以拾取大量（大于 1200 个）物体，并携带它们遵循随机生成的轨迹。作者的主要见解是利用仿人运动表示法来提供类似人类的运动技能，并大大加快训练速度。作者的方法仅使用了简单的奖励、状态和物体表示法，在不同的物体和轨迹上显示出良好的可扩展性。在训练时，作者不需要全身运动和物体轨迹的配对数据集。在测试时，作者只需要物体网格以及抓取和运输所需的轨迹。为了证明作者方法的能力，作者展示了在跟踪物体轨迹和泛化到未见物体方面最先进的成功率。作者将发布代码和模型。

1. 引言
   在人工智能和机器人技术快速发展的今天,让仿人机器人能够灵活地抓取和操纵各种物体仍然是一个重大挑战。这项技术不仅对于动画和虚拟/增强现实中的人机交互至关重要,还有望在未来应用于真实世界的人形机器人领域。
   

如图 1 所示，给定一个物体网格，作者的目标是控制一个配备两只灵巧双手的仿真人形机器人拿起物体，并沿着合理的轨迹移动。这种能力可广泛应用于动画和 AV/VR 的人-物互动，并有可能扩展到仿人机器人领域。然而，实现用灵巧的双手控制模拟人形机器人进行精确的物体操作面临着诸多困难：
1.平衡控制:双足人形机器人需要在进行精细的手部动作时保持整体平衡。
2.灵活抓握:机器人需要能够适应不同形状的物体,形成稳定的抓握。
3.高自由度控制:人形机器人具有高度复杂的结构,增加了控制难度。
4.全身协调:手部动作需要与整个身体的运动协调一致。
5.轨迹跟随:机器人需要能够沿着各种复杂轨迹移动物体,而不仅仅是简单的垂直提升。
6.泛化能力:控制系统需要能够应对各种未见过的物体形状和移动轨迹。
以往的研究常常局限于使用独立的机械手或预设的单一互动序列,难以实现像人类一样灵活多变的物体操作。本研究提出了一种名为Omnigrasp的新方法,旨在通过强化学习技术,开发出一个能够全身协调、灵活操控的人形机器人控制器。这个控制器能够拾取各种物体并沿着多样化的轨迹移动,展现出前所未有的灵活性和通用性。
本研究在人形机器人灵巧抓取和物体操纵领域取得了三项重要贡献:
(1) 灵巧通用的人形机器人运动表征：作者设计了一种灵巧而通用的仿人运动表示法，它能显著提高采样效率，并能通过简单而有效的