多模态 RAG 应用设计与实现

▼最近直播超级多，预约保你有收获

 —1—

多模态是什么？

多模态本质上赋予大模型除了文本之外，同时感知、聆听和理解多种格式数据的能力，就像我们人类所做的那样。

我们应该能够将不同类型的数据混合在一起，同时展示给大模型，并对其进行提问：“嘿，几天前我给你发了一张棕色小狗的照片。你能帮我找到那张照片吗？” 然后大模型给我们那张照片的细节，并找出照片。我们希望大模型能像人类那样理解事物，变得非常擅长处理和响应各种信息。

但这里的挑战是，让大模型理解一种数据格式及其相关参考，可能是文本、音频、热成像和视频的混合。为了实现这一点，我们使用了一种叫做嵌入（Embedding）的技术。它实际上是一个数值向量，包含了一堆对我们来说可能没有多大意义但机器很容易理解的数字。

 —2—

猫等于猫

让我们先考虑文本部分，我们目前的目标是让大模型学会"狗"和"猫"这样的词与"宠物"这个词密切相关。使用嵌入模型很容易实现这种理解，大模型首先将这些文本词转换为各自的嵌入，然后训练大模型遵循一个简单的逻辑：如果词语相关，它们在向量空间中彼此接近，如果不相关，它们将被适当的距离分开，如下图所示：

但为了帮助大模型识别出"猫"的图像和"猫"这个词是相似的，我们需要依赖于多模态嵌入。为了简化一下，想象有一个魔盒，它能够处理各种输入：图像、音频、文本等。

当我们用一张"猫"的图像和文本"猫"来喂养这个盒子时，它会施展魔法生成两个数值向量。当这两个向量被输入模型时，模型会想："根据这些数值看起来它们都与'猫'有关。" 这正是我们的目标！我们的目标是帮助模型识别"猫"的图像和文本"猫"之间的密切联系。然而为了验证这个概念，当我们在向量空间中绘制这两个数值向量时，结果发现它们非常接近。这个结果与我们之前观察到的两个文本词"猫"和"狗"在向量空间中的接近度完全一致。

这就是多模态的本质。 

所以我们让模型理解了"猫"的图像和"猫"这个词之间的联系。模型也就刻画了音频、图像、视频以及"猫"这个词，模型就会理解猫在所有文件格式中是如何被描绘的。

 —3—

RAG 来了

如果你不知道 RAG 是什么意思，建议你阅读我前几天写的这篇文章：一文搞懂 RAG 检索增强生成。

有一些模型，比如：DALLE-3 提供文本到图像的功能。本质上你输入文本模型就会为你生成相关的图像。但是我们能否创建一个类似于多模态 RAG 的系统，使模型根据我们自己的数据生成输出图像？比如：当被问到类似"我的派对上有多少女孩?" 这样的问题时，不仅提供文本信息，还包括与之相关的图像。可以把它看作是一个在 RAG 系统的扩展，但现在加入了图像。

但请记住，多模态并不局限于文本到图像或图像到文本，因为它包含了输入和输出任何类型数据的自由。

有一个多模态嵌入模型，比如：OpenAI的 "ViT-L/14"。这个模型可以处理各种数据类型，包括文本、图像、视频、音频、甚至热数据和陀螺仪数据。现在下一个问题：我们如何存储这些嵌入?

为此我们需要一个向量数据库，它可以高效地为我们获取、查询和检索相关的嵌入，最好是一个支持多模态数据且不会让我们倾家荡产的向量数据库。这就是 LanceDB 发挥作用的地方。

 —4—

向量数据库时刻

当我们谈论向量数据库时，当前市场上有很多选择：Milvus、Pinecone、腾讯云向量数据库、PgVector等，但 LanceDB 有一些特点使其成为向量数据库的最佳选择，据我使用它解决了传统嵌入式数据库在处理 AI/ML 工作负载方面的局限性。

LanceDB 无服务器架构，这意味着存储和计算被分成两个不同的单元。这种设计使其在 RAG 应用中非常快,确保快速获取和检索。此外它还有一些显著的优势：开源、利用其基于 Apache Arrow 构建的用于高效的 Lance 柱状数据格式、持久存储能，以及结合自己的磁盘近似最近邻搜索。所有这些因素共同使LanceDB 成为访问和处理多模态数据的理想解决方案。

 —5—

多模态 RAG 架构设计库

第一、我们将使用 "ViT-L/14 "将我们的多模态数据转换为各自的嵌入。

第二、LanceDB 作为我们的向量数据库来存储相关的嵌入。

第三、GTA-V 图像字幕数据集用于我们的魔盒。

为了帮助同学们彻底掌握多模态 RAG 的架构开发，今天11:30，我会开一场直播和同学们深度剖析，请同学们点击以下预约按钮免费预约。

 —6—

AI大模型开发技能直播课程

大模型的技术体系非常复杂，即使有了知识图谱和学习路线后，快速掌握并不容易，我们打造了大模型应用技术的系列直播课程，包括：通用大模型技术架构原理、大模型 Agent 应用开发、企业私有大模型开发、向量数据库、大模型应用治理、大模型应用行业落地案例等6项核心技能，帮助同学们快速掌握 AI 大模型的技能。

 🔥即将开播 

立即扫码，即可免费预约

进入直播，大佬直播在线答疑！

本期名额有限

高度起始于速度（手慢无！！）

 —7—

领取一份《AI 大模型技术知识图谱》

最近很多同学在后台留言：“玄姐，AI 大模型技术的知识图谱有没？”、“AI 大模型技术有学习路线吗？”

我们倾心整理了 AI 大模型技术的知识图谱快来领取吧！

这份业界首创知识图谱和学习路线，今天免费送给大家一份!

只需要以下3步操作就可免费领取：

第一步：长按扫码以下我的视频号：玄姐谈AGI

第二步：扫码后，点击以下关注按钮，就可关注我。

第三步：点击"客服“按钮，回复“知识图谱”即可领取。

END