NVIDIA GR00T是什么？NVIDIA GR00T工作流介绍

对于NVIDIA GR00T，想必大家都听说过，但是你真的了解NVIDIA GR00T吗？为增进大家对NVIDIA GR00T的认识，本文将对NVIDIA GR00T以及开发人形机器人NVIDIA GR00T的工作流予以介绍。如果你对NVIDIA GR00T具有兴趣，不妨和小编一起来继续往下阅读哦。

一、‌NVIDIA Project GR00T

‌NVIDIA Project GR00T‌是NVIDIA在2024年3月的GTC大会上发布的人形机器人通用基础模型，旨在进一步推动机器人和具身智能领域的突破。GR00T模型通过模仿人类行为来学习动作，能够理解自然语言并通过观察人类行为来模仿动作，从而快速学习协调、灵活性和其他技能，以便在现实世界中进行导航、适应和互动。

GR00T模型的核心优势在于其多模态指令处理能力，能够处理语言、视频和演示等多种输入，生成机器人要执行的动作。此外，GR00T模型还通过NVIDIA Isaac Lab进行强化学习，并从视频数据中生成机器人动作，使其能够在各种环境中灵活应对。

为了实现这些功能，NVIDIA还发布了一系列相关工具和硬件，包括基于NVIDIA Thor系统级芯片（SoC）的Jetson Thor人形机器人计算机，以及用于机器人学习和仿真训练的Isaac Lab和OSMO计算编排系统‌23。这些工具和硬件的发布标志着NVIDIA在具身AI领域的重大进展，为开发者提供了强大的平台来创建和训练通用人形机器人基础模型。‌

二、开发人形机器人 GR00T 工作流介绍

1、GR00T-Gen 多样化环境

GR00T-Gen 是一套在 OpenUSD 中生成机器人任务和仿真就绪环境的工作流，用于训练通用机器人执行操纵、移动和导航。

为了让机器人学习得更“扎实”，需要在具有各种物体和场景的多样化环境中进行训练。但通常情况下，在现实世界中生成大量不同环境既昂贵又耗时，而且大多数开发者还无法使用，因此仿真成为了一个极佳的替代方案。

GR00T-Gen 使用大语言模型（LLM）和 3D 生成式 AI 模型创建并提供以人为本的逼真、多样化环境。它拥有 2500 多个 3D 资产，涵盖了 150 多个物体类别。为了创建视觉多样化场景，在仿真中加入了多种纹理以实现域随机化。域随机化使训练而成的模型和策略在部署到现实世界中时能够有效地泛化。

GR00T-Gen 为移动机械臂和人形机器人提供了跨具身支持并且包含了 100 多种任务，例如开门、按键和导航。

2、GR00T-Mimic 机器人运动和轨迹生成工作流

GR00T-Mimic 是一个强大的工作流，它可从远程操作演示中生成用于模仿学习的运动数据。模仿学习是一种训练机器人的方法，机器人通过观察和复制教师演示的动作来掌握技能。该训练过程的一个关键要素是可用演示数据的数量和质量。

人形机器人要想有效、安全地在以人为中心的环境中移动，其“老师”必须是人类示范者，这样才能让机器人通过模仿人类行为来学习。但现有的高质量训练数据十分匮乏，这就带来了巨大的挑战。

为了解决这个问题，需要开发能够捕捉人类行为的大量数据集。生成这种数据的可行方法之一是远程操作，即人类操作员远程控制机器人演示特定任务。虽然远程操作可以生成高保真的演示数据，但在特定时间能够访问这些系统的人数有限。

GR00T-Mimic 旨在扩大数据采集流程的规模。该方法包括在物理世界中使用扩展现实（XR）和空间计算设备（如 Apple Vision Pro）采集数量有限的人类演示。然后利用这些初始演示生成合成运动数据，从而有效地扩大演示数据集。我们的目标是创建一个全面的人类动作库供机器人学习，从而提高它们在真实世界环境中执行任务的能力。

为了进一步支持 GR00T-Mimic，NVIDIA Research 还发布了 SkillMimicGen。这是利用最少的人类演示解决实机操纵任务的第一步。

3、GR00T-Dexterity 精细灵巧

GR00T-Dexterity 是一套用于精细灵巧操作的模型和策略并包含开发这些模型和策略的参考工作流。

传统的机器人抓取需要集成从识别抓取点到规划运动和控制手指等多个复杂环节。对于有许多执行器的机器人来说，管理这些系统（尤其是使用状态机来处理抓取失败等故障）使端到端抓取成为了一大难题。

GR00T-Dexterity 引入了一个借鉴研究论文 DextrAH-G 的工作流。该工作流是一种基于强化学习（RL）的机器人灵巧性策略开发方法。借助它，可以创建出像素到动作的端到端抓取系统。该系统经过仿真训练后，可部署到物理机器人上。该工作流专为生成能够根据输入的深度数据流进行快速、反应性抓取的策略而设计，并且可以泛化到新物体。

该流程涉及创建一个几何织物定义机器人的运动空间和简化抓取动作，同时针对并行化训练进行优化。通过使用 NVIDIA Isaac Lab，可在多颗 GPU 上使用强化学习训练织物引导的策略，从而泛化抓取行为。最后，通过模仿学习，可利用输入的深度将学习到的策略提炼为适用于现实世界的版本，从而在数小时内制定出稳健的策略。