论文速读|RT-2：视觉 - 语言 - 行动模型将网络知识转移至机器人控制

项目地址：RT-2: Vision-Language-Action Models 

摘要
本文介绍了 RT-2（机器人控制转换器第二代），这是一种将大规模预训练的视觉 - 语言模型（VLMs）集成到机器人控制中的模型。RT-2 通过将机器人行动表示为文本令牌，并将其与来自网络的视觉 - 语言任务一起训练，实现了将网络知识转移到机器人控制的目标。研究团队采用了两种特定的 VLMs，即 PaLI-X 和 PaLM-E，并将它们训练成 RT-2-PaLI-X 和 RT-2-PaLM-E 两种模型。通过对这些模型进行实验，研究人员发现 RT-2 在执行已见任务时表现出色，并且在对新对象、背景和环境的泛化能力方面显著优于其他基准模型。此外，RT-2 还展现了一些新的能力，如符号理解、推理和人类识别，这些能力是通过从网络规模的视觉 - 语言数据中学习到的知识转移而来的。研究还探讨了模型参数量、训练策略以及模型大小对泛化能力的影响，并通过实验验证了链式思维推理在提升机器人控制策略中的作用。

论文初读：