计算机视觉系统的视觉 RAG 组件
我们相信视觉领域即将发生范式转变,从而产生_计算机视觉管道 2.0_,其中一些传统阶段(例如标记)将被可提示的基础模型所取代。
本文深入剖析了Visual RAG(Visual Retrieval-Augmented Generation)的创新领域,揭示了它的核心价值以及它如何根本性地转变了我们对传统计算机视觉任务的处理方式。文章将从RAG的基本概念出发,深入探讨其在视觉识别、图像分析和智能监控等应用中的实践,阐释这项前沿技术如何为构建更智能、更高效的人工智能系统奠定基石。
1. 什么是检索增强生成(RAG)?
1.1 什么是视觉提示?
为了更好地理解检索增强生成 (RAG) [1],我们首先来了解“提示”的定义。
提示是一种通过提供特定指令或查询来指导基础模型(例如多模式大型语言模型(MLLM))执行任务的技术。
在视觉领域,视觉提示[3] 使用视觉输入(例如图像、线条或点)来指示大规模视觉模型执行特定任务,通常包括模型未明确训练的任务。
下图展示了如何将可提示模型用来创建更强大的系统,其中的关键见解是模型可以通过视觉提示连接:YOLO-World 输出可以用作 SegmentAnything 的视觉提示。
因此,事实证明,提示为建立 RAG 等更先进的技术提供了基础。
1.2 什么是RAG?
RAG 将提示与信息检索的原理结合起来。[2] 当你使用 GenAI 模型(例如 GPT-4 或 LLaVA [5])时,你获得的答案来自(零样本)模型 [4],该模型受到其信息截止值(或其自身的训练数据,无论是数量还是质量)的限制。因此,模型的知识是静态的,在某个点之后不会更新。
检索增强生成 (RAG)使系统能够检索相关上下文,然后将其与原始提示相结合。此增强提示用于查询模型,提供模型原本无法获得的数据。
1.3 了解 RAG 的工作原理
通过下图可以看到经分解后,典型的 RAG 工作流程:
-
检索:当给出查询或提示时,系统首先从知识库或外部数据源检索相关信息。
-
增强:然后使用检索到的信息来增强或改进模型的输入。
-
生成:最后,模型根据原始查询和检索到的信息生成响应。
2. RAG 如何在计算机视觉中使用?
2.1 传统(文本)RAG 与 可视化 RAG
如下图所示,Visual RAG 将检索增强生成 (RAG) 的概念应用于视觉任务。传统的 RAG 处理文本输入并检索相关文本信息,而 Visual RAG 则处理图像(有时还附带文本),并检索视觉数据或图像-文本对。
编码过程从文本编码器转变为视觉编码器(有时使用诸如 CLIP [6] 的基础模型来实现此目的),并且知识库(即矢量数据库)成为视觉信息而非文本文档的存储库。
图 3. 语言模型的 RAG 与视觉模型的 RAG 比较
最后,Visual RAG 的增强功能将检索到的视觉数据与输入相结合,使其能够生成包括文本描述、修改后的图像或多模式内容在内的多种输出。Visual RAG 对于需要将视觉理解与外部知识相结合的任务特别强大。例如,它可以通过从知识库中检索这些边缘情况的相关视觉和文本信息来帮助视觉系统识别稀有物体。
2.2 视觉 RAG 或微调
图 4. 何时使用 RAG 而不是微调
在生产中构建视觉系统时,一个常见的问题是在 RAG 和微调之间做出选择 [7]。根据经验,RAG 是一种理想的入门策略。之后,如果模型的任务变得太狭窄或太具体,那么下一步可能是进行微调。但如图 4 所示,答案不是二元的,而是取决于许多因素,例如:
-
预算:微调涉及重新训练模型,这更加昂贵。
-
推理: RAG 在推理过程中需要更多的计算。
-
时间:由于权重已更新,微调在开始时需要投入更多的时间,但从长远来看可能会减少时间投入。
对于某些用例,可以结合使用这两种方法:
-
具有核心任务的不断发展的领域:例如,在医学成像领域,有标准的诊断程序(通过微调处理),但也有快速发展的研究和新的案例研究(由 Visual RAG 处理)。
-
电子商务和产品识别:微调模型可以识别产品类别,而 Visual RAG 可以从动态库存中检索最新的产品信息或类似物品。
-
内容审核系统:微调可以处理常见的违规类型,而 Visual RAG 可以适应新兴趋势或与上下文相关的违规行为。
3. 多模态 RAG
3.1 用于视频理解的多模态视觉 RAG
用于视频理解的多模态 Visual RAG 管道的具体实现(如图 5 所示)。此示例演示了这些技术如何协同工作以从视频数据中提取有意义的见解。
图 5. Visual RAG 应用于视频理解系统
来分解一下系统组件及其相互作用:
-
1. 知识库:系统从包含视频和图像的知识库开始。这是理解视觉内容的基础。
-
2. 嵌入模型:使用嵌入模型(例如 CLIP(对比语言-图像预训练))将知识库内容和用户查询转换为公共向量空间。这允许对不同模态(文本和视觉数据)进行比较。
-
3. 向量数据库:知识库的嵌入表示存储在向量数据库中,从而实现高效的相似性搜索。
-
4. 用户查询:用户输入查询,例如“查找下午 5 点之前停放的白色车辆”。
-
5. 查询处理:用户的查询经过嵌入模型,转换为与知识库内容相同的向量空间。
-
6. 检索和排序:系统根据查询嵌入和存储嵌入之间的相似性从向量数据库中检索相关信息。然后对结果进行排序以找到最相关的匹配。
-
7. 增强:检索到的信息经过快速处理或增强,以完善上下文并为语言视觉模型做好准备。
-
8. LLaVA 微调: LLaVA(大型语言和视觉助手)的微调版本处理增强信息。LLaVA 是一种能够理解文本和视觉输入的多模态模型。
-
9. 推理: LLaVA 模型对处理后的数据进行推理,以生成解决用户查询的响应。
-
10. 响应:最终输出是一个视觉响应——在本例中,是一张显示一辆停在街道上的白色汽车的图像,这与用户的查询相匹配。
4. 下一步处理
虽然上述的系统为视频理解提供了一个令人印象深刻的框架,但实际上,上图描述的是一个原型。对于生产级 Visual RAG 系统,为了成功部署,应该考虑一些事项:
-
可扩展性:系统必须能够有效地处理大量视频数据和并发用户查询。
-
错误处理和边缘情况:管道应该能够很好地管理视觉内容模糊或查询不清楚的情况。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。