RT-2(robotics-transformer2)论文--阅读笔记

已于 2023-11-22 21:34:12 修改
阅读量1.2k 收藏 4
点赞数
分类专栏： RT2论文翻译 文章标签： python 机器人 笔记
于 2023-08-28 18:55:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61255639/article/details/132544641
版权

论文地址：arxiv.org/pdf/2307.15818.pdf

论文的中文翻译可参考本专栏的另两篇文章。论文笔记是笔者对文章的理解，仅供参考。

作者单位：Google

文章概要

众所周知，transformer架构已经成为了GPT、LLaMa等大语言模型的基本形态。应用该架构可以帮助模型具有很好的文本理解和生成能力，并表现出很好的few-shot乃至zero-shot能力及泛化性能。同时，ViT和CLIP等工作将trasnformer架构用于图像识别，从而构建出了横跨NLP和CV两个模态的多模态大模型VLM(vision-language-model)。

RT-2的作者希望把LLM模型杰出的文本理解能力进行借鉴，将其应用于机器人领域。使机器人更能理解人的指令并作出反应。作者这里提出的VLA(vision-language-action)是在VLM模型基础上用机器人动作数据进行微调得到的。该模型的输入是自然语言指令和图像，输出是一系列的动作表示tokens。

机器人平台：EDR 7DOF

模型架构

模型的输入是语言和图像。语言经过embedding变成一个个token，图像经过ViT的方式变成token输入VLM。这里VLM经过微调的输出是一个数字序列，用于表示机器人的动作信息（速度、转动角度、机械爪是否伸展和命令终止，如下图）。作者把每个动作信息分成256份进行离散表

最低0.47元/天 解锁文章
【具身智能】RT-2：视觉-语言-动作模型（VLA）
xiewf的博客
09-12 1万+
Robotic Transformer 2（RT-2）是由谷歌 DeepMind 新推出的大语言模型，它为人类提供了通过纯语言命令来优化机器人控制的能力。与此前的大模型不同，RT-2是一种新型的视觉-语言-动作（VLA）模型，它可以从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令，帮助机器人在现实环境中完成各种复杂任务，同时提高机器人的适应性和判断推理能力。高容量的视觉-语言模型（VLM）是在网络规模的数据集上训练的，使得这些系统在识别视觉或语言模式并跨越不同语言方面表现出色。
2021 ICRA《Hierarchical Cross-Modal Agent for Robotics Vision-and-Language Navigation》阅读笔记
qq_44100524的博客
08-09 388
在VLN任务中，我们将Agent从导航图中移除，并在连续的3D重建环境中提出了一个更复杂但更接近现实世界的VLN设置，在该设置中，机器人VLN任务具有较长的轨迹长度、连续的动作空间、考虑障碍物等挑战，对此，我们提出将机器人VLN任务分解成专门的高级策略和低级策略。实验表明，我们提出的分层跨模态（HCM）代理在所有关键指标上都优于现有的基线，并为Robo VLN 建立了一个新的基线。本文基于VLN-CE，考虑在连续环境中实现VLN任务。
RT-2(robotics-transformer2)论文翻译——2
weixin_61255639的博客
08-27 921
谷歌RT-2的论文翻译
RT-2：机器人智能新纪元
2501_90976089的博客
03-07 850
RT-2是Google DeepMind开发的一项突破性技术，通过视觉-语言-动作模型（VLA）实现了机器人的智能化。它不仅能够理解图像并执行物理动作，还具备推理能力，能够理解复杂的环境语义并做出相应决策。RT-2在泛化能力和涌现能力方面表现尤为出色，能够在未训练过的环境中执行任务，并展现出新的能力，如逻辑推理和语义理解。这种“具身智能”标志着机器人技术从简单的任务执行向真正的智能行为迈进，为未来的机器人应用开辟了新的可能性，使其在制造业和日常生活中具有广泛的应用潜力。
[论文解读]RT-2: Vision-Language-Action Models TransferWeb Knowledge to Robotic Control
zengxiaojian2的博客
11-20 940
这篇论文研究了如何将基于互联网规模数据训练的视觉-语言模型直接整合到端到端的机器人控制中，以提升泛化能力和实现语义推理。
探索未来智能：Robotic Transformer 2（RT-2）——视觉-语言-行动的集成模型
gitblog_00583的博客
08-30 896
探索未来智能：Robotic Transformer 2（RT-2）——视觉-语言-行动的集成模型 RT-2Democratization of RT-2 "RT-2: New model translates vision and language into action"项目地址:https://gitcode.com/gh_mirrors/rt/RT-2 在人工智能与机器人技术日益融合的今...
RT-2(robotics-transformer2)论文翻译——1
weixin_61255639的博客
08-26 761
谷歌RT2论文翻译
机器人近期最重要的论文之一 RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
jiayoushijie的博客
06-07 2398
高容量的大规模预训练模型,如大语言模型、视觉-语言模型等,可以为下游任务提供一个有效且强大的平台。这些模型不仅可以生成流畅的文本,还展现出新兴的问题解决能力、创造性写作和编程能力。视觉-语言模型甚至可以对图像中的物体-agent交互进行复杂推理。这种语义推理、问题解决和视觉解释能力,对于需要在真实世界环境中执行各种任务的通用机器人来说是非常有用的。但目前尚不清楚机器人应该如何获得这些能力。
具身智能学习笔记
xiaomu_347的博客
04-13 36
具身智能（Embodied Intelligence）指的是智能体在物理世界中通过身体与环境交互来学习和决策的一种智能形式。这种智能融合了感知、动作和决策，广泛应用于机器人、自主驾驶、虚拟仿真等领域。下面是具身智能的技术栈总结，从底层到上层逐层展开
【AI简报20210910期】联想发布LA2智能嵌入式控制器、单目摄像头实时感知车辆形状...
rtthreadiotos的博客
09-10 1016
嵌入式 AI1. 历时三年量产列装：联想发布LA2智能嵌入式控制器原文链接：http://finance.sina.com.cn/tech/2021-09-08/doc-iktzqtyt4...
RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
CHONGjjj的博客
10-11 1175
是否可将大型预训练的视觉语言模型直接集成到低级机器人控制中，以提高泛化能力并实现突现语义推理?直接训练设计用于开放词汇视觉问答和视觉对话的视觉语言模型，以输出低级机器人动作，同时解决其他互联网规模的视觉语言任务。RT2是在网络规模数据上训练的微调大型视觉语言模型衍生出来的模型家族，将动作编码为对应的语言文本token并协同微调训练。
Robotic Transformer 2 (RT-2)｜视觉-语言-行动（VLA）模型
u013250861的博客
10-27 684
在这项研究中，研究人员主要关注的是如何利用在互联网规模数据上预训练的视觉-语言模型，并将其调整以进行直接、闭环的机器人控制。此外，它还表现出了一些新的能力，比如解读并执行机器人训练数据中未出现过的指令，识别场景中最小或最大的物体，判断出应该使用哪个物体作为临时锤子，以及为疲倦的人选择最好的能量饮料。总的来说，RT-2模型在整合视觉-语言-动作模型用于机器人控制方面，代表了一个重要的进步。通过在机器人的运动轨迹上训练视觉-语言模型，并将标记化的动作直接融入其输出，使得这些模型能够实施遵循指令的机器人策略。
谷歌Deep Mind发布的视觉-语言-动作模型RT-2
yorkhunter的博客
08-03 783
23年7月来自谷歌Deep Mind的论文“RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control“。
谷歌DeepMind推出RT-2 大模型机器人方面应用
putaolove的博客
12-06 2002
大模型应用案例：Meta、CMU团队耗时2年打造的RoboAgent，能烘培、收纳餐具、使用微波炉，也能将一套茶艺演绎得行云流水。不久前，谷歌DeepMind推出RT-2——一个视觉-语言-动作（Vision-Language-Action）模型，将多模态大模型的能力塞进机械臂。它可以从网络和机器人数据中学习到大量知识，并将这些知识转化为机器人控制的通用指令。这使得机器人也能像 ChatGPT一样理解自然语言，并根据自然语言做出一系列动作，能数学推理、能辨认人物、也能泛化到各种新环境、新任务。
【代码复现】RT-DETR2（pytorch版）环境部署及训练
R_grace的博客
12-05 3897
RT-DETR是第一个实时端到端目标检测器，RT-DETR2 是基于 Transformer 的端到端检测器的。
让VLM充当机器人大脑——VLM规划下加约束：从SayCan、VoxPoser到ViLA、CoPa、ReKep
热门推荐
结构之法 算法之道
03-17 1万+
Figure 的创始人 Brett Adcock 和 AI 团队的负责人 Corey Lynch 在 X 上解释了此次视频中机器人互动背后的原理此次的突破，由 OpenAI 与 Figure 共同做出。OpenAI 提供负责提供视觉推理和语言理解，而 Figure 的神经网络提供快速、低水平、灵巧的机器人动作机器人所做出的所有行为都是出于已经学习过，内化了的能力，而不是来自远程操作，具体则如下Figure 的机载摄像头以 10hz 的频率拍摄图像。
谷歌发布RT-2大模型，让机器人像人类那样思考
Hinyeung2021的博客
08-10 330
真实的世界复杂且没有规律，机器人往往需要通过非常复杂的指令才能做到人类简单的事情，这个过程就像人类婴儿从无知无能逐渐成长为能够独立思考和行动的成年人一样，机器人也需要通过不断的学习和训练来提高自己的能力，而借助 RT-2 的强大功能，机器人可以自己分析更多信息，自行推断下一步该做什么。为了展现RT-2的能力，谷歌通过机械臂进行演示，在这次演示中，展示了其卓越的机器学习和人工智能技术，例如，对AI说“捡起已灭绝的动物”，机械臂会在一堆塑料玩具中精准的选择恐龙。搭载RT-2的机器人能按人类指令行事。
VLA算法总结对比——RT1 / RT2 / Pi0 / Octo/ RDT / OpenVLA
最新发布
weixin_44580210的博客
05-05 753
本文主要针最近比较经典的VLA算法进行对比总结，暂不涉及到代码细节和实验细节上的展开，仅仅是从大面上掌握下目前VLA的一些思路和方法。
视觉语言动作模型：从网页知识到机器人控制的实战RT-2
fengbeely的博客
07-24 1204
Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Kehang Han, Karol Hausman, A
Pre-2014Robotics2D-LaserDatasets
07-15
在2014年之前，有一些常见的2D激光数据集可用于机器人技术的研究和开发。以下是其中一些常见的数据集： 1. SICK LIDAR 数据集：这是一个基于SICK激光雷达的数据集，包含了在不同环境下进行的扫描数据。它包括了室内和室外的场景，用于研究机器人感知和导航算法。 2. Cornell 数据集：这是一个在Cornell大学收集的2D激光数据集。它包含了多个场景下的激光扫描数据，用于机器人感知和地图构建的研究。 3. MIT 数据集：麻省理工学院的机器人实验室也提供了一些2D激光数据集。这些数据集包含了在实验室内进行的扫描数据，用于研究机器人导航和地图构建算法。 4. Freiburg 数据集：Freiburg大学提供了一些2D激光数据集，包括了在室内和室外环境下进行的扫描数据。这些数据集广泛应用于机器人感知、导航和地图构建等领域的研究。 这些数据集可以帮助研究人员和开发者评估和改进机器人的感知和导航能力。请注意，这些数据集可能需要通过相应的渠道获取，因为它们可能受到版权或访问限制的限制。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值