微软发布「时空智能」大模型Magma～

最新推荐文章于 2025-04-02 19:12:15 发布

大靠山

最新推荐文章于 2025-04-02 19:12:15 发布

阅读量825

点赞数 9

文章标签：目标跟踪人工智能计算机视觉语言模型自然语言处理

本文链接：https://blog.csdn.net/m0_59235245/article/details/145784622

版权

最近微软研究院牵头发布了一个名为Magma的「多模态/AI代理/时空智能」大模型。Magma的时空智能能力是其核心创新之一，体现在对空间布局和时间序列的联合建模上。这种能力使Magma能够从多模态输入（用户界面截图、机器人图像、教学视频）中理解对象的物理位置、动作的时序逻辑，并在不同环境（数字界面与物理世界）中完成连贯的任务。

论文中的「空间」相对于我们熟悉的「地理空间」的范围更小一些，未来更多的室外运行的机器人地理空间的数据的价值则会更明显一些，而且这篇论文的机器思路和我上一篇公众描述的通过合成3D场景来训练具身智能模型的方式不同，Magma还是直接通过图像和视频来进行任务的训练。

一、Magma试图通过统一的框架来解决三类不同的任务：

1、2D屏幕截图中的UI导航，比如任务的输入是「预定一个宾馆」，然后输出用于表达动作语义的语言Tokens(比如“type”, “click”等)和动作点击的位置（x,y）或者矩形框(x,y,w,h)。

2、3D世界中的机器人操作，比如类似输入「关闭抽屉」这个任务，输出由6-DoF(x,y,z,y⁢a⁢w,p⁢i⁢t⁢c⁢h,r⁢o⁢l⁢l)组成的末端执行器位移，在某些情况下，还会附加一个维度用来指示夹具是否打开。

3、多模态理解任务，一项「视觉问答」任务，问题简化为多模态理解任务，为输入图像/视频生成文本描述和/或对象的位置。

二、要实现这一目标，主要存在两方面的挑战：

1、上述三类任务在输入和输出方面都存在固有领域的差距，比如预测UI导航的2D坐标、末端执行器的3D位置和「视觉-语言」的常规文本输出，前者在像素级别产生巨大的搜索空间，后者直接输出本体感觉动作，而不是基于对图像的观察。

2、现有的「视觉-语言-动作」数据数量和多样性有限，大多数的数据集都是单一领域的数据。

三、针对上述两个问题，两个对应的解决方案：

1、使用 Set-of-Mark （SOM）和 Trace-of-Mark（ToM）来统一多模态模型的输出，通过Set-of-Mark(SoM)来定位特定任务的可操作点/区域，并在需要时进一步预测原子操作，其实就是将可操作的目标通过物体检测分割模型转化为用矩形框和点表达的Mark。将离散的动作类别（如“点击”）转换为连续的二维坐标（如屏幕坐标或机器人末端位置），使模型能够直接“看到”并操作目标。

下图是基于 UI 截图（左）、机器人操作（中）和人类视频（右）的动作标记集监督，所有坐标均按图像大小（高度、宽度）进行归一化。

Trace-of-Mark（ToM）是在 Set-of-Mark （SoM）的基础上，从静态图像扩展到动态视频，使代理模型能够有效地从视频中学习规划和行动。如下图所示Magma将机器人的操作和人的行为表达成为了Mark对象串。

而提取动作路径的则是通过CoTracker，CoTracker是一种基于 Transformer 的模型，可跟踪长视频序列中的大量 2D 点，生成密集的时间序列数据，从而让模型从轨迹中随机采样点作为预测目标，强制模型学习长期动作模式（如“拿起杯子→倒水→放下”）

2、多源异构数据集的SOM和TOM化，总的来说，训练语料库包含大约 3900 万个不同的样本。

机器人操控数据，对于机器人任务，使用 Open-X-Embodiment 的机器人数据集。
UI 导航数据，使用用两个预训练数据集，SeeClick 和 Vision2UI 。
教学视频。我们编辑了Epic-Kitchen ，Ego4d ，Somethingv2。
多模态理解。最包括 ShareGPT4V， LLaVA-1.5 中的指令调整数据，以及其他一些与OCR相关的数据集。

为了方便理解，我找了一下应用于UI导航训练的SeeClick数据集，SeeClick基于大规模视觉-语言模型（LVLM），通过在精心收集的GUI grounding数据上训练以增强其GUI定位能力，最终能够在iOS、Android、电脑操作系统和网页等各种GUI上准确地根据指令定位操作元素。

SeeClick通过收集「包含text属性的元素」和「包含title属性的元素」两类元素，构建[screenshot-指令-操作元素]的样本数据，如下就是SeeClick构建的训练样本数据，样本中包括界面的截图和描述信息。

img_filename：界面截图文件
instruction：人工指令
bbox：指令对应的目标元素的边界框
data_type：“icon”/“text”，表示目标元素的类型
data_souce：用户交互平台，包括 iOS、Android、macOS、Windows 和 Web（Gitlab、Shop、Forum 和 Tool）

基于Magma的实践探索会发现，还是可以看到GIS的一些基本理论方法的使用，比如客观世界中通过统一的点和轨迹的抽象来表达可操作的对象和动作本身，同时这里面的不同则是过去的空间规律是用公式来表达，而在大模型时代，这些空间的规律是通过神经网络来表达。

另外从上面的案例也可以看出，数据集还是非常重要，对于很多数字孪生或者GIS团队来说，可能未必都具备模型的研究能力，但是基于开源模型，利用专有的数据集进行行业落地则会是一个重要的能力。

Magma相关的论文和数据集范例，已经同步放在了从零开始学习「空间计算」进步，让我们一起拥抱「时空智能」的时代！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述