【2025具身智能大模型·系列4】GR00T N1 ：英伟达推出全球首个开源通用人形机器人基础模型

最新推荐文章于 2025-04-27 16:33:29 发布
最新推荐文章于 2025-04-27 16:33:29 发布
阅读量1.7k 收藏 78
点赞数 82
分类专栏： AI大模型前沿技术追踪 文章标签： 开源 机器人 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaobing259/article/details/146918893
版权

系列篇章💥

No.文章
1【2025具身智能大模型·系列1】SpatialVLA：上海 AI Lab 联合上科大等推出的空间具身通用操作模型，赋能机器人3D空间理解
2【2025具身智能大模型·系列2】UniAct：清华大学、商汤等联合发布具身智能框架，用通用动作空间打破机器人控制瓶颈！
3【2025具身智能大模型·系列3】斯坦福HumanPlus：人形机器人实时控制与模仿学习的完美结合
4【2025具身智能大模型·系列4】GR00T N1 ：英伟达推出全球首个开源通用人形机器人基础模型

目录

前言

随着人工智能和机器人技术的飞速发展，人形机器人的开发逐渐成为研究和应用的热点。人形机器人不仅在工业自动化、服务机器人等领域具有巨大潜力，还在学术研究中为探索智能体的感知、决策和行动提供了重要平台。英伟达（NVIDIA）在2025年3月18日的GTC大会上发布了全球首个开源通用人形机器人基础模型——GR00T N1。这一模型的发布标志着人形机器人开发进入了一个新的阶段，为全球开发者提供了一个强大的工具，加速了通用机器人技术的发展。

一、项目概述

GR00T N1 是英伟达推出的开源通用人形机器人基础模型，旨在通过多模态输入（如语言、图像）实现多样化环境中的操作任务。该模型基于大规模人形机器人数据集训练，结合真实数据、合成数据和互联网视频数据，能够适应特定机器人形态、任务和环境。GR00T N1 的核心架构受到人类认知原理的启发，采用双系统架构，包括一个快速思考的动作模型（System 1）和一个慢速思考的视觉-语言模型（System 2）。
在这里插入图片描述

二、技术架构

GR00T N1 的技术架构包括两个主要部分：

  1. 视觉-语言模型（System 2）：
    • 基于 NVIDIA-Eagle 和 SmolLM-1.7B 构建，负责用视觉和语言指令理解环境，进行推理和规划，输出动作计划。
    • 该模型能够处理多模态输入，包括视觉图像和自然语言指令，从而实现复杂的任务规划和决策。
  2. 扩散变换器（System 1）：
    • 作为动作模型，将视觉-语言模型的计划转化为精确的连续动作，控制机器人运动。
    • 该模型通过扩散过程生成连续的动作序列，确保机器人能够平滑、准确地执行任务。

这种双系统架构类似于人类的快慢思维处理方式，其中 System 1 负责快速响应和直觉反应，而 System 2 负责深思熟虑的决策制定。
在这里插入图片描述

三、主要功能

GR00T N1 的主要功能包括：

  1. 通用操作任务执行：在多样化环境中执行各种操作任务，例如抓取、搬运、双臂协调操作等。
  2. 多模态输入处理：同时处理语言指令和视觉图像，机器人根据自然语言指令执行复杂的操作任务。
  3. 跨机器人形态适应性：适应不同类型的机器人平台（如 Fourier GR-1 和 1X Neo），实现通用性。
  4. 复杂任务推理与规划：执行需要持续上下文理解和多种技能整合的复杂多步任务。
  5. 高效数据利用与训练：结合互联网规模数据、合成数据和真实机器人数据进行预训练，显著提升性能和泛化能力，减少对大规模标注数据的依赖。

四、应用场景

1. 物流与仓储

在物流与仓储领域，GR00T N1 可以显著提升货物处理的效率和准确性。通过多模态输入处理能力，人形机器人能够理解自然语言指令并执行复杂的操作任务，例如：

  • 货物抓取与搬运：机器人可以根据指令抓取不同形状和重量的货物，并将其搬运到指定位置。
  • 货架整理与补货：机器人可以自动整理货架，检测货物短缺并及时补货，减少人工干预。
  • 库存盘点：利用视觉输入，机器人可以快速扫描货架上的货物，进行库存盘点，确保库存数据的准确性。

2. 制造业

在制造业中，GR00T N1 可以执行高精度的装配和质量检测任务，提升生产效率和产品质量：

  • 零部件装配：机器人可以精确地抓取和装配复杂的零部件，减少人为错误，提高生产效率。
  • 质量检测：通过视觉输入，机器人可以检测产品表面的缺陷和质量问题，及时发现并处理异常。
  • 生产线维护：机器人可以对生产设备进行巡检，发现潜在故障并报告，减少停机时间。

3. 零售行业

在零售环境中，GR00T N1 可以提供多种服务，提升顾客购物体验：

  • 货架整理与补货：机器人可以自动整理货架，确保商品摆放整齐，及时补货。
  • 顾客服务：机器人可以为顾客提供信息查询和商品推荐服务，提升购物体验。
  • 库存管理：通过实时监控库存，机器人可以及时通知工作人员补货，减少缺货情况。

4. 医疗保健

在医疗保健领域，GR00T N1 可以辅助医护人员，减轻他们的工作负担：

  • 康复训练：机器人可以辅助患者进行康复训练，提供精确的动作指导和反馈。
  • 医疗物资搬运：机器人可以搬运医疗设备和物资，减少医护人员的体力劳动。
  • 病房巡检：机器人可以对病房进行巡检，记录患者的生命体征，及时发现异常情况。

5. 工业检查与维护

在工业环境中，GR00T N1 可以执行设备检查和维护任务，降低人工成本：

  • 设备巡检：机器人可以对生产设备进行定期巡检，检测设备的运行状态，发现异常并报告。
  • 维护操作：机器人可以执行一些简单的维护操作，如更换滤芯、加油等，减少人工干预。
  • 环境监测：机器人可以监测工作环境中的温度、湿度、气体浓度等参数，确保工作环境的安全。

6. 家庭与服务

在家庭和服务领域，GR00T N1 可以提供多种服务，提升生活质量：

  • 家务劳动：机器人可以执行家务劳动，如打扫卫生、洗衣服、整理房间等。
  • 陪伴与互动：机器人可以与家庭成员互动，提供陪伴和娱乐服务。
  • 智能助手：机器人可以作为智能助手，帮助家庭成员完成各种任务，如购物、预约等。

五、快速使用

1. 环境准备

克隆仓库并创建 Conda 环境：

git clone https://github.com/NVIDIA/Isaac-GR00T
cd Isaac-GR00T
conda create -n gr00t python=3.10
conda activate gr00t
pip install --upgrade setuptools
pip install -e .
pip install --no-build-isolation flash-attn==2.7.1.post4

2. 数据准备

数据需按照 LeRobot 兼容格式组织。具体格式如下：

.
├─meta
│ ├─episodes.jsonl
│ ├─modality.json
│ ├─info.json
│ └─tasks.jsonl
├─videos
│ └─chunk-000
│   └─observation.images.ego_view
│     └─episode_000001.mp4
│     └─episode_000000.mp4
└─data
  └─chunk-000
    ├─episode_000001.parquet
    └─episode_000000.parquet

使用 LeRobotSingleDataset 类加载数据：

from gr00t.data.dataset import LeRobotSingleDataset
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.dataset import ModalityConfig
from gr00t.experiment.data_config import DATA_CONFIG_MAP

# 获取数据配置
data_config = DATA_CONFIG_MAP["gr1_arms_only"]

# 获取模态配置和转换
modality_config = data_config.modality_config()
transforms = data_config.transform()

# 加载数据集
dataset = LeRobotSingleDataset(
    dataset_path="demo_data/robot_sim.PickNPlace",
    modality_configs=modality_config,
    transforms=transforms,
    embodiment_tag=EmbodimentTag.GR1,  # 使用的机器人形态
)

# 示例：访问数据
dataset[5]

3. 推理

加载预训练模型并运行推理：

from gr00t.model.policy import Gr00tPolicy
from gr00t.data.embodiment_tags import EmbodimentTag

# 加载模态配置和转换
modality_config = ComposedModalityConfig(...)
transforms = ComposedModalityTransform(...)

# 加载数据集
dataset = LeRobotSingleDataset(.....<Similar to the loading section above>....)

# 加载预训练模型
policy = Gr00tPolicy(
    model_path="nvidia/GR00T-N1-2B",
    modality_config=modality_config,
    modality_transform=transforms,
    embodiment_tag=EmbodimentTag.GR1,
    device="cuda"
)

# 运行推理
action_chunk = policy.get_action(dataset[0])

也可以使用提供的脚本运行推理服务：

python scripts/inference_service.py --model_path nvidia/GR00T-N1-2B --server

在另一个终端运行客户端模式：

python scripts/inference_service.py  --client

4. 微调

使用提供的脚本对模型进行微调：

# 首先运行 --help 查看可用参数
python scripts/gr00t_finetune.py --help

# 然后运行微调脚本
python scripts/gr00t_finetune.py --dataset-path ./demo_data/robot_sim.PickNPlace --num-gpus 1

也可以从 HuggingFace 下载示例数据集：

huggingface-cli download  nvidia/PhysicalAI-Robotics-GR00T-X-Embodiment-Sim \
  --repo-type dataset \
  --include "gr1_arms_only.CanSort/**" \
  --local-dir $HOME/gr00t_dataset

推荐的微调配置是将批量大小调整到最大，并训练20k步。

5. 评估

使用提供的脚本对模型进行离线评估：

python scripts/inference_service.py --server \
    --model_path <MODEL_PATH> \
    --embodiment_tag new_embodiment

运行离线评估脚本：

python scripts/eval_policy.py --plot \
    --dataset_path <DATASET_PATH> \
    --embodiment_tag new_embodiment

评估结果将显示真实动作与预测动作的对比图，以及未归一化的均方误差（MSE），这可以用来判断策略在数据集上的表现。

结语

Isaac GR00T N1 的发布为通用人形机器人开发提供了强大的工具，加速了机器人技术的发展。它不仅降低了开发门槛，还通过开源数据和模型促进了社区的协作与创新。GR00T N1 的双系统架构和多模态输入处理能力使其在复杂任务执行和适应性方面表现出色，为未来人形机器人的发展奠定了坚实的基础。

项目地址：https://github.com/NVIDIA/Isaac-GR00T
在这里插入图片描述

🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍：资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索（CSDN博客之星|AIGC领域优质创作者）
📖专属社群：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，回复‘入群’ 即刻上车，获取邀请链接。
💘领取三大专属福利：1️⃣免费赠送AI+编程📚500本，2️⃣AI技术教程副业资料1套，3️⃣DeepSeek资料教程1套🔥（限前500人）
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我们，一起携手同行AI的探索之旅，开启智能时代的大门！

GR00T N1——英伟达开源的通用人形VLA：类似Helix的快与慢双系统，且可类似ViLLA利用海量的无标注视频做训练(含源码解析)
结构之法 算法之道
03-20 4778
就在今天3.19日的凌晨，英伟达发布的GR00T N1还是很有含金量的(上午已有好几个朋友私我了)，由此可以看到很多相关工作的影子，比如helix π0 LAPA，具体而言，其具有双系统架构至于昨晚计划的fourier-lerobot对idp3的封装解读，则作为这两天的第二篇顺便说个事，随着我司「七月在线」接的B端大客户具身订单越来越多了，非常缺人。
GR00T N1：通用人形VLA模型——从“数据孤岛”到“数据金字塔”的破局之路
Python_cocola的博客
04-10 1008
通用人形机器人被视为具身智能的终极形态，但其发展长期受困于“数据孤岛”难题——不同硬件平台、任务场景和传感器差异导致机器人数据碎片化。此外，相比于机械臂，人形机器人的数据采集更耗时费力，且存在较高损坏风险，真机数据采集代价极高。缺少大规模、高质量的人形机器人数据，难以支撑大规模模型训练，使得人形VLA发展变得遥不可及。在英伟达GTC大会上最新开源的模型，以“数据金字塔”策略破局，通过融合人类行为视频、合成轨迹与真实机器人数据，构建了首个支持跨具身（Cross-Embodiment）的人形VLA基础模型。
GR00T N1：全球首个开源人形机器人基座模型！双系统架构解锁通用操作
士多啤梨先生の博客
03-19 937
GR00T N1 是英伟达推出的全球首个开源人形机器人基础模型，基于多模态输入和双系统架构，能够执行复杂操作任务，适用于物流、制造、零售等多个领域。
NVIDIA Isaac GR00T N1 - 世界首个通用人形机器人基础模型实战
lovely_yoshino的博客
03-26 3636
NVIDIA Isaac GR00T N1作为世界首个通用人形机器人基础模型，为机器人领域带来了突破性的进展。它通过创新的多模态架构，将视觉、语言和状态信息有机结合，实现了从高层指令到精确动作的端到端映射。其核心优势在于跨平台适应性强、推理速度快（约60毫秒/次）以及灵活的微调机制，这使得它能够快速适应不同的机器人平台和任务场景。该模型采用标准化的数据格式和完整的工具链支持，使得从数据收集、模型训练到部署评估的全流程都变得清晰可控。
NVIDIA Isaac GR00T N1：世界首个开源通用人形机器人基础模型
专注于人工智能领域的小何尚
03-19 1953
NVIDIA Isaac GR00T N1是一个跨实施模型，可以接收多模态输入（包括语言和图像），用于在各种环境中执行操作任务。该模型基于广泛的人形数据集进行训练，这些数据集包括真实捕获的数据、使用NVIDIA Isaac GR00T Blueprint组件生成的合成数据以及互联网规模的视频数据。GR00T N1的特点在于它可以通过后期训练适应特定的实施方式、任务和环境。这意味着研究人员可以将这个基础模型应用到各种不同的机器人平台上，并针对特定任务进行微调，大大降低了开发复杂机器人应用的门槛。实施标签。
GR00T N1：通才人形机器人的开放基础模型（下）
yorkhunter的博客
03-28 790
25年3月来自Nvidia的论文“GR00T N1: An Open Foundation Model for Generalist Humanoid Robots”。 通用机器人需要多功能的身体和聪明的头脑。人形机器人的最新进展显示出作为在人类世界中构建通才自主性硬件平台的巨大潜力。在大量多样化数据源上训练的机器人基础模型，对于使机器人能够推理新情况、稳健地处理现实世界的变化以及快速学习新任务至关重要。为此，Nvidia推出 GR00T N1，一种人形机器人的开放式基础模型。GR00T N1 是一种具有双
NVIDIA Isaac GR00T N1部署以及程序教程
pvmsmfchcs的博客
03-27 196
1，NVIDIA Isaac GR00T N1 入门教程（一） 人形机器人多模态大语言模型。2.NVIDIA Isaac GR00T N1 人形机器人强化学习入门教程（二）详细步骤。
【GR00T微调笔记】使用4090D微调NVIDIA Isaac GR00T，并在4070TiS上简单测试
CSDN_Lcy的博客
04-08 476
这里应该是没办法直接模型并行，可能还是数据并行，具体需要查看脚本。发现只是警告，暂时不用管，开始下载模型了，这里需要注意网络问题。可以跑在不同主机上，使用 --host 指定服务器地址。安装完新版本cuda之后，重新安装python环境。这里测试过两个，最后使用abiFALSE成功安装。原版本为12.1，重新安装cuda12.4解决。接下来用自己的数据进行微调并测试，待完成。建议先准备好cuda12.4，以防踩坑。安装太慢，建议手动下载，直接安装。使用微调的模型跑推理测试。已在以下环境测试通过。
GR00T N1：面向通用类人机器人的开放基础模型
qq_33673253的博客
04-16 1064
通用型机器人需要具备多功能的身体和智能的大脑。近年来，类人机器人的发展在构建人类世界中的通用自主性硬件平台方面展现出巨大潜力。一个经过大量多样化数据源训练的机器人基础模型，对于使机器人能够推理新情况、稳健处理现实世界的多变性以及快速学习新任务至关重要。为此，我们推出了GR00T N1，这是一个面向类人机器人的开放基础模型。GR00T N1是一个视觉-语言-行动（VLA）模型，采用双系统架构。视觉-语言模块（系统2）通过视觉和语言指令解释环境。随后的扩散变换器模块（系统1）实时生成流畅的运动动作。
英伟达开源首个人形机器人大脑
Barok的博客
03-20 791
显卡寡头老大的下一步，瞄准了所有智能机械设备上的显卡。
NVIDIA GR00T是什么？NVIDIA GR00T工作流介绍
ic2121的博客
03-11 122
为了实现这些功能，NVIDIA还发布了一系列相关工具和硬件，包括基于NVIDIA Thor系统级芯片（SoC）的Jetson Thor人形机器人计算机，以及用于机器人学习和仿真训练的Isaac Lab和OSMO计算编排系统‌23。‌NVIDIA Project GR00T‌是NVIDIA在2024年3月的GTC大会上发布的人形机器人通用基础模型，旨在进一步推动机器人和具身智能领域的突破。最后，通过模仿学习，可利用输入的深度将学习到的策略提炼为适用于现实世界的版本，从而在数小时内制定出稳健的策略。
揭秘NVIDIA GR00T人形机器人项目本质
ic2121的博客
03-11 51
每一款 Jetson 系列都是一个完整的系统 模组（SOM），Jetson 系列是面向人形机器人开发的解决方案，满足各种应用的性能和预 算需求，这套方案中不仅仅有高性能、高度集成的芯片（系统芯片包含基于 NVIDIA Blackwell 架构的下一代 GPU，并配备变压器引擎，提供 800 万亿次浮点 AI 性能，可运 行 GR00T 等多模态生成式 AI 模型）平台，还有丰富的配套资源。人形机器人大模型从最初的大语言 模型到现在的分层端到端模型，产生了巨大的变化。
CES 2025 NVIDIA Project DIGITS 与更多突破性发布全解析
2301_79342058的博客
01-11 2080
NVIDIA发布的Project DIGITS，由革命性的Grace Blackwell GB10超级芯片驱动，为桌面AI计算设立了全新标准。NVIDIA推出的GeForce RTX 50系列GPU基于全新的Blackwell架构，在视觉真实感和AI性能上迈出了革命性的一步。从NVIDIA发布的产品入手，再看看这些创新的实际应用，最后了解它们对世界的深远影响。NVIDIA发布了Project GR00T，专为类人机器人打造的基础模型，与Isaac机器人平台的重大更新共同构成机器人领域的未来蓝图。
英伟达最新！GR00T N1：面向通用人形机器人的开源基础模型~
CV_Autobot的博客
03-25 321
这表明 GR00T N1 模型在实际的类人机器人操作场景中，相较于扩散策略基线模型，能够更可靠地完成任务，同时也体现了该模型在数据稀缺条件下良好的学习能力和适应性，即不需要大量的真实世界数据就能取得较好的任务执行效果。在后训练中，还探索了使用神经轨迹增强数据的方法，为每个下游任务生成神经轨迹，并根据任务需求调整视频模型生成多视图或长视野轨迹，以提高模型在低数据场景下的学习能力。预训练：在预训练阶段，模型在多种来源的数据上进行训练，包括标注的视频数据集、合成生成的数据集和真实机器人轨迹。
NVIDIA 发布 Project GR00T 人形机器人基础模型和 Isaac 机器人平台重大更新
weixin_46300916的博客
03-27 2196
我们开发了 NVIDIA Isaac Lab 来大规模训练 GR00T，并构建了 NVIDIA OSMO，这是一种计算协调服务，可在用于训练的 NVIDIA DGX 系统、用于仿真的 NVIDIA OVX 系统以及用于硬件在环验证的 NVIDIA IGX 和 NVIDIA AGX 系统之间协调训练和推理工作流。这些挑战包括特定任务的复杂性，如装载和卸载。Jetson Thor 是一个全新的计算平台，能够执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。
Greenbone（绿骨）开源GVM容器docker部署和汉化介绍
最新发布
hhwzy_mqh的博客
04-27 825
本文主要是介绍从容器运行 Greenbone Community Edition 也就是一般我们说的GVM（以前叫Openvas)，使用和部署其开源社区版方式很多，可以从官方申请免费的虚拟机镜像，也可以参照Greenbone社区文档从源构建。笔者每种方式都尝试过，期间遇到过很多问题（不同linux系统，问题不一样，解决起来很麻烦），最简单直接的方式还是用容器部署。另外说明，写此文的目的只是为了方便懒得阅读英文，而又需要部署GVM漏洞扫描的同志。
.NET写的开源工业物联网网关(IoTGateway)
QzmAIoT
04-25 590
iotgateway: 基于.NET8的跨平台物联网网关（工业物联网关）。通过可视化配置，轻松的连接到你的任何设备和系统(如PLC、扫码枪、CNC、数据库、串口设备、上位机、OPC Server、OPC UA Server、Mqtt Server等)，从而与 Thingsboard、IoTSharp或您自己的物联网平台(MES、SCADA)进行双向数据通讯。提供简单的驱动开发接口；当然也可以进行边缘计算。
操作指南：vLLM 部署开源大语言模型（LLM）
jane_xing的博客
04-25 949
vLLM 是一个专为高效部署大语言模型（LLM）设计的开源推理框架，其核心优势在于显存优化、高吞吐量及云原生支持。安装 vLLM 或从源码安装最新功能： Docker 部署：使用官方镜像快速启动服务，适用于容器化环境： 依赖环境从 Hugging Face 加载模型 vLLM 支持直接加载 Hugging Face 托管的模型，例如： 若需加速国内下载，可设置镜像源： 本地模型路径 若模型已下载至本地，可直接指定路径启动： 三、服务启动与 API 调用 启动 OpenAI 兼容服务
评论 48
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寻道AI小兵

🐳 感谢你的巨浪支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值