【深度学习】大模型卷到机器人上了

当一项变革性技术出现后，以此为基础的技术就会像雨后春笋般蔓延。

就像Transformer出现后，以此为基础的大语言模型ChatGPT，视觉基础模型Segment Anything相继横空出世，并展现出强大的涌现能力。生成式AI可谓百花齐鸣，争相绽放。

继纯语言，纯视觉大模型后，多模态大模型也粉墨登场，最近Google DeepMind重磅推出Robotic Transformer 2（RT2），也被称为视觉-语言-行动模型（Vision-Language-Action）。用一句话概括：RT2可以将机器人对世界的观察（图片）以及用户的指令（文本）转换成机器人的控制指令（文本）。

论文地址：
https://robotics-transformer2.github.io/assets/rt2.pdf
官方文档：
https://robotics-transformer2.github.io
https://www.deepmind.com/blog/rt-2-new-model-translates-vision-and-language-into-action

整体流程图

整体流程如上图所示，机器人接受人类的语音指令，将其转换为文本，同时利用自身的摄像头对现实场景进行拍照