多模态大语言模型和 Apple 的 MM1

原文地址：multimodal-large-language-models-apples-mm1

2024 年 4 月 13 日

抽象是计算机科学中最关键的概念之一，具有一些最强大的影响。从简单的角度来看，抽象就是将某一事物应用于多种不同情况的能力。例如，如果你创造了一种方法，可以在工厂中成功地根据苹果的大小进行分类，那么你的解决方案也可以抽象为以同样的方式对橘子或桃子进行分类。这样，通过抽象，一个非常强大的解决方案就能从根本上影响世界的多个部分。

虽然大型语言模型（Large Language Models）在以文本作为输入时的推理能力非常出色，但最近我们已经能够对其输入进行抽象，使其能够对图像和声音进行推理。

下面这篇文章将介绍苹果公司 MM1 论文中的架构删减，以及他们在构建多模态大型语言模型（MLLM）时的研究成果。

抽象LLM型输入

大型语言模型背后的架构可以追溯到 2017 年的论文《Attention is All You Need》，其中介绍了 Transformer 架构。

本文展示了如何将人类语言转化为神经网络可以处理的标记（在该论文中，处理为不同的语言）

从图中可以看到，我们很早就进行了转换，将输入转换为标记（嵌入部分）。然而，只有文本数据才能被映射为标记，这并没有内在的原因。因此，该领域开始尝试将其他类型的数据映射为标记。

MM1 架构基础