让机器人融入生活？GR-2让科幻电影场景成真

厚德云

已于 2024-10-10 14:51:29 修改

阅读量285

点赞数 1

文章标签：机器人生活人工智能

于 2024-10-10 14:51:16 首次发布

本文链接：https://blog.csdn.net/holdcloud/article/details/142821718

版权

GR-2

在科幻电影中，我们经常能看到人类通过远程操控机器人完成各种复杂任务的场景。而今天，这样的科幻场景正在成为现实。随着字节跳动研究团队最新推出的第二代机器人大模型GR-2（Generative Robot 2.0）的问世，我们离梦想中的未来又近了一步。

GR-2

GR-2 介绍

GR-2是一种最先进的通用机器人代理，用于多功能和可通用的机器人操作。GR-2 首先在大量互联网视频上进行预训练，以捕捉世界动态。这种大规模的预训练涉及 3800 万个视频剪辑和超过 500 亿个代币，使 GR-2 能够在随后的策略学习中泛化到广泛的机器人任务和环境。

而且GR-2 对使用机器人轨迹的视频生成和动作预测进行了微调。它表现出令人印象深刻的多任务学习能力，在 97.7 多项任务中实现了 100% 的平均成功率。

此外，GR-2 展示了对新的、以前从未见过的场景的非凡泛化，包括新的背景、环境、对象和任务。值得注意的是，它可以有效地随模型大小扩展，突显了其持续增长和应用的潜力。

技术性突破

GR-2 训练过程展示

GR-2 的训练分为两个阶段：视频生成预训练和机器人数据微调。在预训练期间，我们在一个精心策划的大规模视频数据集上训练 GR-2 以生成视频，该数据集包含不同背景下的各种日常人类活动。通过掌握视频生成，GR-2 捕获了对下游策略学习至关重要的关键时间动态和语义信息。在微调过程中，我们根据机器人数据训练 GR-2 以协同预测动作轨迹和视频。

得益于新颖的模型架构，在预训练阶段收集的知识可以无损地转移到微调阶段。GR-2 与预训练数据中只有一个摄像头视图的视频不同，机器人数据通常包含多个视图。GR-2 旨在优雅地处理多个视图和在笛卡尔空间中生成动作轨迹。为了确保机械臂准确跟随轨迹，字节跳动团队开发了一种全身控制（WBC）算法，该算法采用轨迹优化进行运动跟踪。

GR-2 学习成功率

GR-2 能够以非常高的成功率完成 105 个操作任务，在训练过程中GR-2 展示了强大的多任务学习能力。开发团队还在具有挑战性的场景中评估了 GR-2，包括干扰物、看不见的背景、看不见的环境和看不见的操作。GR-2 可以处理干扰物并正确处理目标物体。它在看不见的背景和环境中实现了很高的成功率，展示了强大的泛化能力。

GR-2 还能够执行机器人训练数据中看不到的操作且还能有效地学习 105 个任务，并做到每个任务只需 50 个轨迹。这大大降低了在实际应用中获取新技能和适应新环境的成本。