全球首发！首个通用具身智能基座大模型发布 2025

大模型老炮

已于 2025-03-11 17:32:55 修改

阅读量1k

点赞数 22

文章标签：大模型教程 DeepSeek AI 大模型大模型学习大模型入门程序员

于 2025-03-11 17:32:48 首次发布

本文链接：https://blog.csdn.net/2401_85375151/article/details/146184916

版权

科技圈又炸了！首个通用具身智能基座大模型 GO1 横空出世，这消息一放出来，整个技术圈和行业直接沸腾，堪称 “王炸” 级别的大事件！

智元发布首个通用具身基座模型一-智元启元大模型(Genie Operator-1)，它开创性地提出了Vision-Language-Latent-Action (ViLLA) 架构。

该架构由VLM(多模态大模型) + MoE(混合专家)组成，其中VLM借助海量互联网图文数据获得通用场景感知和语言理解能力。
MoE中的Latent Planner(隐式规划器借助大量跨本体和人类操作视频数据获得通用的动作理解能力。
MoE中的Action Expert(动作专家)借助百万真机数据获得精细的动作执行能力,三者环环相扣，实现了可以利用人类视频学习，完成小样本快速泛化，降低了具身智能门槛,并成功部署到智元多款机器人本体,持续进化，将具身智能推上了一个新台阶。

一、GO1 大模型技术细节剖析

1. 独特的数据吸纳体系

GO1 大模型的构建，宛如搭建一座宏伟的数字金字塔，而其数据来源恰似这座金字塔坚实的基石，极为丰富且多元。

金字塔底层，依托着互联网海量的纯文本与图文数据。这些数据犹如一座知识的宝库，机器人通过对其深入学习，能够理解世间万物的通用知识，洞悉各类场景的特点与规律，为后续更为复杂、深入的学习活动筑牢根基。

例如，通过阅读大量关于家居环境的图文资料，机器人能够了解家具的种类、布局以及常见的生活场景，这为它日后在家居场景中执行任务提供了基础认知。

往上一层，大规模人类操作及跨本体视频数据成为关键的知识源泉。这一数据来源对于机器人而言，无异于一位经验丰富的导师，为其提供了生动且直观的动作操作范例。机器人借助这些视频数据，能够仔细观察人类或其他本体在执行各种任务时的动作模式，从简单的抓取物品到复杂的器械操作，都能一一学习并模仿。

以工业生产场景为例，机器人通过观看工人操作机床的视频，能够学习到精准的操作手法、工具的使用技巧以及工艺流程，从而为自身在工业生产线上的应用积累宝贵经验。

再上一层的仿真数据，则为机器人的能力提升带来了质的飞跃。仿真数据模拟了各种真实世界中可能出现的复杂场景与变化因素，机器人在对这些数据进行学习和训练后，其泛化能力得到极大增强。这意味着机器人不再局限于在特定、单一的场景中执行任务，而是能够灵活应对各种未曾经历过的复杂环境与突发状况。

比如，在救援场景中，仿真数据可以模拟地震后的废墟、火灾现场的浓烟等极端环境，机器人通过学习这些数据，能够在实际救援中迅速适应并展开行动。

金字塔的顶层，是高质量的真机示教数据。这一数据来源专门用于训练机器人精准的动作执行能力。在真机示教过程中，专业人员通过实际操作机器人，为其示范如何以最精准、高效的方式完成各类任务。

例如，在医疗手术辅助场景中，医生通过真机示教，让机器人学习如何在狭小的手术空间内精准操作医疗器械，确保手术的安全与成功。此前，常规的 VLA（视觉语言动作）架构在处理大规模人类及跨本体操作视频数据时，常常面临诸多难题，难以充分挖掘这些数据的价值。

而 GO1 大模型凭借其强大的技术创新能力，成功突破了这一技术瓶颈。智元在去年底推出的 AgiBot World 真机数据集，为 GO1 大模型提供了强大的数据支撑。

该数据集堪称行业内的 “数据宝库”，包含超过 100 万条轨迹、涵盖 217 个任务、涉及五大场景，在长程数据规模、场景范围覆盖面以及数据质量上均远超同类。从简单的抓取、放置等基础操作，到搅拌、折叠等精细长程、双臂协同复杂交互任务，一应俱全。这使得 GO1 大模型在学习过程中能够接触到丰富多样的任务实例，从而不断优化自身的算法和执行能力。

2. 创新的 ViLLA 架构

为了将这些丰富的数据资源充分利用起来，智元团队精心研发了全新的 ViLLA（视觉语言隐式动作）架构。

这一架构堪称 GO1 大模型的 “智慧大脑”，其创新性和先进性在人工智能领域中独树一帜。与传统的 VLA 架构相比，ViLLA 架构具有显著的优势。

传统 VLA 架构在图像 — 文本输入与机器人执行动作之间，往往存在着难以逾越的鸿沟，导致机器人在理解和执行任务时出现偏差或效率低下的问题。

而 ViLLA 架构则巧妙地通过预测 Latent Action Tokens（隐式动作标记），成功地弥合了这一关键鸿沟。

在实际应用中，当机器人接收到图像和文本指令后，ViLLA 架构能够迅速对指令进行解析，并通过预测隐式动作标记，精准地规划出机器人应执行的动作序列。

这种强大的能力极大地增强了机器人的泛化能力，使其能够在不同的场景和任务中快速适应并高效执行。通过在五种不同复杂度任务上的严格测试，结果令人惊叹：相较于已有的最优模型，GO1 的平均成功率大幅提高了 32%。在倒水、清理桌面、补充饮料等日常生活场景中的任务中，GO1 的表现尤为突出。

它能够准确地识别目标物体、判断环境状况，并以流畅、精准的动作完成任务，远远超过最先进的开源具身基座模型。这一卓越的性能表现，充分彰显了 ViLLA 架构在真实世界中实现灵巧操作和长时任务执行的强大能力。

3. 回顾过去

2024年底，智元推出了AgiBot World,包含超过100万条轨迹、涵盖217个任务、涉及五大场景的大规模高质量真机数据集。

基于AgiBot World,智元今天正式发布智元通用具身基座大模型 Genie Operator-1(G0-1) 。

GO-1: VLA进化到ViLLA

为了有效利用高质量的AgiBot World数据集以及互联网大规模异构视频数据,增强策略的泛化能力,智元提出了 Vision-Language-Latent-Action (ViLLA) 这一创新性架构。

GO-1作为首个通用具身基座大模型，基于ViLLA构建。与Vision-Language-Action (VLA)架构相比,ViLLA 通过预测Latent Action Tokens(隐式动作标记)，弥合图像-文本输入与机器人执行动作之间的鸿沟。

在真实世界的灵巧操作和长时任务方面表现卓越，远远超过了已有的开源SOTA模型ViLLA架构是由VLM(多模态大模型)+MoE(混合专家)组成,其中VLM借助海量互联网图文数据获得通用场景感知和语言理解能力，MoE中的Latent Planner(隐式规划器)借助大量跨本体和人类操作数据获得通用的动作理解能力，MoE中的Action Expert(动作专家)借助百万真机数据获得精细的动作执行能力。

在推理时，VLM、Latent Planner和Action Expert三者协同工作:

VLM 采用internVL-2B,接收多视角视觉图片、力觉信号、语言输入等多模态信息，进行通用的场景感知和指令理解;
Latent Planner是MoE中的一组专家,基于VLM的中间层输出预测Latent Action Tokens作为CoP(Chain ofPlanning，规划链)，进行通用的动作理解和规划;
Action Expert是MoE中的另外一组专家，基于VLM的中间层输出以及LatentAction Tokens,生成最终的精细动作序列;

3.1 下面展开介绍下MoE里2个关键的组成Latent Planner和Action Expert:

混合专家一: Latent Planner (隐式规划器)

尽管AgiBot World 数据集已经是全球最大的机器人真机示教数据集,但这样高质量带动作标签的真机数据量仍然有限，远少于互联网规模的数据集。

为此，我们采用Latent Actions(隐式动作)来建模当前帧和历史帧之间的隐式变化,然后通过Latent Planner预测这些Latent Actions,从而将异构数据源中真实世界的动作知识转移到通用操作任务中。

Latent Action Model (LAM，隐式动作模型) 主要用于获取当前帧和历史帧之间LatentActions的Groundtruth (真值) ,它由编码器和解码器组成。

其中:编码器采用Spatial-temporalTransformer,并使用Causal Temporal Masks(时序因果掩码)解码器采用SpatialTransformer,以初始帧和离散化的Latent Action Tokens作为输入。

Latent Action Tokens通过VQ-VAE的方式进行量化处理Latent Planner负责预测这些离散的Latent Action Tokens,它与VLM 主干网络共享相同的Transformer 结构，但使用了两套独立的FFN(前馈神经网络)和O/K//O(查询、键、值、输出)投影矩阵。

Latent Planner这组专家会逐层结合 VLM 输出的中间信息，通过Cross EntropyLoss (交叉熵损失) 进行监督训练。

混合专家二: Action Expert (动作专家)

为了实现 High-frequency(高频率) 且 Dexterous(灵活)的操控，我们引入Action Expert, 其采用Diffusion Model作为目标函数来建模低层级动作的连续分布Action Expert结构设计上与Latent Planner类似，也是与 VLM 主干网络共享相同的Transformer 结构，但使用两套独立的FFN和Q/KN/0投影矩阵，它通过DenoisingProcess (去噪过程) 逐步回归动作序列。

Action Expert与VLM、Latent Planner分层结合，确保信息流的一致性与协同优化。

通过Vision-Language-Latent-Action (ViLLA) 创新性架构，我们在五种不同复杂度任务上测试 GO-1.相比已有的最优模型,G0-1成功率大幅领先,平均成功率提高了32%(46%->78%)。

其中“Pour Water”(倒水)、“Table Bussing”(清理桌面) 和“Restock Beverage”(补充饮料) 任务表现尤为突出。

此外我们还单独验证了ViLLA 架构中Latent Planner的作用,可以看到增加Latent Planner可以提升12%的成功率(66%->78%)。

3.2、GO-1具身智能的全面创新

GO-1大模型借助人类和多种机器人数据,让机器人获得了革命性的学习能力，可泛化应用到各类的环境和物品中，快速适应新任务、学习新技能。同时，它还支持部署到不同的机器人本体，高效地完成落地，并在实际的使用中持续不断地快速进化。

这一系列的特点可以归纳为4个方面:

人类视频学习: GO-1大模型可以结合互联网视频和真实人类示范进行学习，增强模型对人类行为的理解，更好地为人类服务。
小样本快速泛化: GO-1大模型具有强大的泛化能力，能够在极少数据甚至零样本下泛化到新场景、新任务，降低了具身模型的使用门槛,使得后训练成本非常低
脑多形: GO-1大模型是通用机器人策略模型,能够在不同机器人形态之间迁移，快速适配到不同本体，群体升智,
持续进化: GO-1大模型搭配智元一整套数据回流系统，可以从实际执行遇到的问题数据中持续进化学习，越用越聪明。

智元通用具身基座大模型GO-1的推出,标志着具身智能向通用化、开放化、智能化方向快速迈进。

从单一任务到多种任务: 机器人能够在不同场景中执行多种任务，而不需要针对每个新任务重新训练。
从封闭环境到开放世界: 机器人不再局限于实验室，而是可以话应多变的真实世界环境从预设程序到指令泛化: 机器人能够理解自然语言指令,并根据语义进行组合推理，而不再局限于预设程序。

4. GO1 大模型对行业的深远影响

4.1 推动具身智能应用的普及

GO1 大模型的诞生，宛如一场及时雨，为具身智能领域带来了蓬勃的发展生机，推动着具身智能应用从实验室走向现实生活的各个角落。

在过去，机器人往往局限于执行特定、单一的任务，功能较为有限，难以满足复杂多变的实际需求。

而 GO1 大模型的出现，彻底改变了这一局面。它赋予了机器人从依赖特定任务的工具，向着具备通用智能的自主体转变的能力。GO1 大模型可泛化应用到各类复杂多样的环境和物品中，能够快速适应全新的任务需求，高效学习新的技能。

无论是在充满挑战的工业生产车间，还是在温馨的家庭生活场景；无论是面对形状各异的工业零部件，还是日常使用的家居用品，GO1 大模型驱动下的机器人都能展现出出色的适应能力和执行能力。

在商业领域，物流仓储行业首当其冲地受益于 GO1 大模型。以往，物流仓储中的货物搬运和分类工作主要依赖人工，效率低下且容易出错。如今，搭载 GO1 大模型的机器人能够快速识别不同货物的形状、大小和重量，根据仓库的布局和存储规则，合理规划搬运路径，高效地完成货物的搬运和分类任务。这不仅大大提高了仓储运作的效率，降低了人力成本，还减少了货物损坏和错放的风险。

在工业领域，生产线上的任务需求常常随着市场变化和产品更新而频繁调整。传统机器人在面对这种变化时，往往需要进行复杂的重新编程和调试，耗时费力。而基于 GO1 大模型的机器人则能够通过对新任务的快速学习和适应，迅速调整自身的动作和操作流程，轻松应对生产线的变化。它们可以精准地完成复杂的装配工作，提高产品质量和生产效率，为工业企业的转型升级提供强大助力。

在家庭场景中，GO1 大模型的应用更是让智能生活变得触手可及。家庭服务机器人能够承担起更多样化的家务任务，如打扫房间、整理物品、照顾老人小孩等。它们可以根据家庭成员的生活习惯和需求，灵活调整任务执行的时间和方式，为人们创造更加舒适、便捷的生活环境。

在这里插入图片描述