RT-2(robotics-transformer2)论文--阅读笔记

。未央

已于 2023-11-22 21:34:12 修改

阅读量457

点赞数

分类专栏： RT2论文翻译文章标签： python 机器人笔记

于 2023-08-28 18:55:15 首次发布

本文链接：https://blog.csdn.net/weixin_61255639/article/details/132544641

版权

RT2论文翻译专栏收录该内容

3 篇文章 1 订阅

订阅专栏

论文地址：arxiv.org/pdf/2307.15818.pdf

论文的中文翻译可参考本专栏的另两篇文章。论文笔记是笔者对文章的理解，仅供参考。

作者单位：Google

文章概要

众所周知，transformer架构已经成为了GPT、LLaMa等大语言模型的基本形态。应用该架构可以帮助模型具有很好的文本理解和生成能力，并表现出很好的few-shot乃至zero-shot能力及泛化性能。同时，ViT和CLIP等工作将trasnformer架构用于图像识别，从而构建出了横跨NLP和CV两个模态的多模态大模型VLM(vision-language-model)。

RT-2的作者希望把LLM模型杰出的文本理解能力进行借鉴，将其应用于机器人领域。使机器人更能理解人的指令并作出反应。作者这里提出的VLA(vision-language-action)是在VLM模型基础上用机器人动作数据进行微调得到的。该模型的输入是自然语言指令和图像，输出是一系列的动作表示tokens。

机器人平台：EDR 7DOF

模型架构

模型的输入是语言和图像。语言经过embedding变成一个个token，图像经过ViT的方式变成token输入VLM。这里VLM经过微调的输出是一个数字序列，用于表示机器人的动作信息（速度、转动角度、机械爪是否伸展和命令终止，如下图）。作者把每个动作信息分成256份进行离散表示，这样每一个变量都可以用int8来表示。

其他很多将LLM用于机器人的工作是只把LLM用于指令分解；机器人再根据分解后的指令生成动作信息（比如要机器人拿一瓶冰可乐，LLM只是分解并告诉机器人"首先打开冰箱门"，"再拿出可乐"这两个更具体的指令）。这里作者用LLM直接生成动作序列，省略了中间环节。

作者分别使用PaLM-E和PaLI-X两个VLM模型在机器人数据上进行微调，并比较这两个模型的最终效果。其中作者的RT-2-PaLI-X模型有5B和55B两个版本，RT-2-PaLM-E模型参数是12B。

微调&数据集

作者这里使用了两类数据集。一类是互联网上的图像-文本配对信息，用于训练VLM图文匹配能力；这个大小是10B。另一类是机器人的动作数据集，这里用到的一个是之前RT1模型收集的数据集，另一个是language-table开源数据集。二者规模的数量级都是10万+场景；比图文的10B小很多。

作者采用了两种微调方式。一种是直接对预训练后的VLM利用机器人数据集进行微调。另一种是同时使用机器人数据集和互联网上的图片-文本数据集进行联合微调(co-fine-tuning)。这个计算量要大很多；由于网上的图像-文本数据集规模远大于机器人动作数据集，作者在训练时设置了二者的权重，让机器人动作数据大约占50~70%。

部署

由于RT-2的模型规模太大（55B或5B），这使得它无法在机器人本地运行。因此作者把模型在云服务器上运行，通过网络通信来控制机器人动作。对于5B版本的交互频率是5Hz，55B版本的频率只有1~3Hz。

因此作者在论文中也提出后续可以用模型蒸馏等方式缩小模型规模，争取使之能够在本地运行。另外作者呼吁有更多的开源VLM模型公布，以便作者进行微调训练，测试机器人的效果。

泛化能力

作者的机器人动作数据集其实只包含了七类动作场景，对应机器人的七种技能，包括"Pick Object”、“Move Object Near Object”、“Place Object Upright”、“Knock Object Over”、“Open Drawer”、“Close Drawer”、“Place Object into Receptacle”和“Pick Object from Receptacle and place on the counter”。

但是最终的机器人可以对训练集中未出现的物品/场景进行操纵，还能够进行一些更复杂的指令。这说明了机器人具备很好的泛化能力。能够“举一反三”，具备few-shot。