VisRAG解读：纯视觉的RAG（检索增强生成）模型，看这篇就够了

最新推荐文章于 2025-01-26 01:21:09 发布
最新推荐文章于 2025-01-26 01:21:09 发布
阅读量3.6k 收藏 46
点赞数 50
分类专栏： 检索增强生成 深度学习 大语言模型 文章标签： 深度学习 语言模型 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OOODDD1212/article/details/143258686
版权

VISRAG: VISION-BASED RETRIEVAL-AUGMENTED GENERATION ON MULTI-MODALITY DOCUMENTS

作者：Shi Yu

机构：清华大学

来源：arXiv 2024.10.14

https://github.com/openbmb/visrag

需要解决的问题：传统RAG只能处理text，无法充分利用视觉信息，而真实世界的数据通常以多模态的形式出现，因此传统的文本RAG无法对其进行处理。

做法：文档直接使用VLM进行embedding，作为一个image，之后进行检索来增强VLM的生成。相比于传统的RAG达到了25%-39%的增益。

1 Induction

结构：

  • 纯视觉的RAG pipeline，包括基于VLM的检索器VisRAG-Ret和生成器VisRAG-Gen。
  • 借鉴于基于文本的稠密retriever的bi-encoder，VisRAG-Ret将query和document映射到一个embedding空间，模型直接利用文档的image，而不是依赖于文档的内容。
  • 如何获得embedding？对输入的text和image token最终的隐藏状态使用weight mean pooling。
  • 通过检索topk个文档images送入VisRAG来获得最终的答案。
  • 由于一些VLM只能处理单个图像，所以提出page concatenation以及权重选择技术来使得模型能够处理多个图像。

意义：VisRAG能以原始图像的形式保存所有的信息，因此防止可能存在的信息损失以及畸变。

数据集：

  • 来自于VQA数据集
  • web-crawled PDFs的query-document对

基模型：GPT-4o

在这里插入图片描述

2 Methodology

2.1 典型的基于文本的RAG和直接基于图像的RAG对比

在这里插入图片描述

  • 根据作者的描述，只采用基于文本的RAG会丢失多模态文档中的图像信息，而VisRAG可以保留原页面中的图像信息。

  • 检索过程中，使用了ANN（Approximate Nearest Neighbor）方法来检索文档 D R D_R DR​。

2.2 检索器

  • 在VLM隐藏层的最后一层使用一个位置加权平均池化（position-weighted mean pooling），越往后的token权重越大，这里的v就是query和page的embedding，其中 h i h_i hi​表示第i个隐藏状态，S表示序列的长度。

在这里插入图片描述

​ 其中权重 w i w_i wi​表示为：

在这里插入图片描述

  • 判定query和检索到文档的相似度：cosine similarity
  • 损失：使用InfoNCE loss

在这里插入图片描述

2.3 生成器

处理多个检索页面的几种方法：

  • 页面拼接

    一个最简单的方法就是直接对所有的page进行水平拼接，然后送给LM：

    在这里插入图片描述

  • 权重选择法

    在这里插入图片描述

​ 这里的 λ ( q , d ) \lambda(q,d) λ(q,d)表示归一化的检索分数：

在这里插入图片描述

​ 也就是说，如果给定query和document情况下，生成答案a的概率P越大，以及检索分数越大，则总的 P ( a ∣ q , d ) P(a|q,d) P(a∣q,d)越大。

  • 直接处理多个图片

​ 需要LM具有处理多幅图片的能力，例如MiniCPM-V 2.6 以及Qwen-VL 2。

在这里插入图片描述

2.4 构建数据

  • 数据集的来源

在这里插入图片描述

  • Query过滤（提出的VisRAG无法适用于这些问题，所以需要进行过滤）

​ 由于一些问题如：“这个会议在哪举办？”，这种问题在不同文档中指向不明确，对于作者提出的多文档检索模型来说不适合，因此作者过滤了这些问题（使用LLAMA-3-8b）。

  • 评估矩阵

    对于检索： MRR@10 and Recall@10

    对于回答：使用answer accuracy（允许5%的误差）

3 实验方法

  • 文档解析（包括两种方法）

    第一种使用经典的OCR方法

    第二种直接使用大模型，例如MiniCPM-V 2.0，并进行一定的微调

  • 实验对比方法

    对于检索实验包括三种方法

    第一种是Off-the-self，即拿这些模型直接进行对比

    第二种是Out-of-domain，即在综合数据上进行预训练，在VQA任务上进行回答

    第三种是In-domain，即在VQA和综合数据上进行预训练，在VQA上进行回答

    对于生成实验，冻结检索部分，对比生成模型的效果

    注意这里只有检索部分进行了预训练，生成部分的模并没有进行训练

  • 实施细节

    batch_size设置128，8个A100，temperature设置为0.02

4 实验结果

  • 检索实验的结果。作者拿的是Out-of-domain的模型与BGE和NV-Embed，说明尽管后两个出色的模型在干净的数据上表现好，但真实的图片检索任务上表现不如VisRAG。除此之外，红框中的数据表明，作为一种visual encoder，SigLP在视觉任务中表现好，而MiniCPM（OCR）在文本任务中表现好。

在这里插入图片描述

  • 生成的准确率的表现。在single-image方面，权重选择比拼接效果好。整体上使用多图片（交给模型处理）比使用单图片效果好。

在这里插入图片描述

  • 综合数据量增长对于模型检索性能的影响（out of domain）

在这里插入图片描述

  • 文档篇幅长度对于RAG性能的影响

在这里插入图片描述

大模型——最全梳理 一文搞懂RAG技术的5种范式！
03-26 291
高级 RAG 引入了具体的改进措施，以克服 Naive RAG 的局限性。为了提高检索质量，它采用了检索前和检索后策略。为了解决索引问题，高级 RAG 通过使用滑动窗口方法、细粒度分割和元数据的整合，改进了索引技术。此外，它还采用了多种优化方法来简化检索过程。模块化 RAG 架构超越了前两种 RAG 范式，具有更强的适应性和多功能性。它采用了多种策略来改进其组件，例如为相似性搜索添加搜索模块，以及通过微调完善检索器。为应对特定挑战，还引入了重组 RAG 模块和重排 RAG 管道等创新方法。
Ollama 更新！手把手教你用Ollama轻松搭建Llama 3.2 Vision + 视觉RAG系统（本地安装）
2401_85373898的博客
11-10 6857
Ollama 现在正式支持 Llama 3.2 视觉模型（Llama 3.2 Vision）。你看就像这样拖进去就可以识别图片了。▲ 来源 | Prompt Engineering你可以看到该模型有11B参数版和90B参数版。选择90B参数版时，文件大小约为55GB。当然还有一些量化的版本。Llama 3.2 Vision 11B 至少需要 8GB VRAM，而 90B 型号至少需要 64 GB VRAM。
搭建RAG系统就这么简单：LangChain|RAG是什么？
python1234567_的博客
07-13 900
RAG是什么大模型通过RAG可以访问大量的外部知识库，这有助于提高模型回答问题的准确性和深度。由于大模型通常是在大量数据上预训练的，它们可能不包含最新的信息。RAG可以通过检索最新的数据来弥补这一点。通过检索可靠的信息源，RAG有助于减少模型生成的偏见或错误信息。RAG可以使模型在面对未见过的问题或领域时，通过检索相关信息来提高其泛化能力。对于那些低频或非常规的问题，RAG可以通过检索来提供更加准确的答案，而不需要模型在训练数据中直接学习到。
VisRAG | 面向多模态文档的视觉RAG
老皮的博客
01-10 754
论文链接：https://arxiv.org/pdf/2410.10594。
视觉检索增强生成【Visual RAG】
新缸中之脑
07-31 1977
为了更好地理解检索增强生成 (RAG) [1]，首先定义“提示”很有用。RAG 将提示的原理与信息检索相结合。[2]提示是一种通过提供特定指令或查询来指导基础模型（例如多模态大型语言模型 (MLLM)）执行任务的技术。在视觉领域，视觉提示 [3] 使用视觉输入（例如图像、线条或点）来指示大规模视觉模型执行特定任务，通常包括模型未明确训练的任务。
VisRAG：清华大学&面壁智能提出了一种新的RAG思路，效果提升明显
2401_85379281的博客
10-21 2115
VisRAG是一种新型视觉检索增强生成系统，由VLM驱动的检索器VisRAG-Ret和生成器VisRAG-Gen组成。如上图（左边）所示，TextRAG 通常使用基于文本的单元进行检索和生成。右边是 VisRAG，与传统RAG框架利用文本片段进行检索和生成不同，VisRAG通过文档图像来保留全部信息，确保数据的完整性。
Visual RAG: Expanding MLLM visual knowledge without fine-tuning 论文简介
最新发布
No trade is free, but my contents are.
01-26 325
其中，检索增强生成（Retrieval-Augmented Generation，RAG）是一种有效的方法，它通过检索相关的外部知识来增强 LLMs 的生成能力。本文将介绍一篇关于 Visual RAG 的论文，该论文提出了一种新的方法，利用检索增强生成来提升 LLMs 的可视化理解能力。实验结果表明，Visual RAG 方法在所有数据集上都取得了显著的性能提升，平均准确率比零样本学习提高了 21.25%，比 Many-shot ICL 方法提高了 8.99%。
最通俗易懂的视觉 RAG方案讲解！-- 结合AI+文旅赛道应用
weixin_73790979的博客
01-22 1169
它将信息检索的范围从文本扩展到图像、视频等视觉信息，让 AI 在生成内容时，不仅能参考文本，还能“看到”相关的图像，从而更好地理解用户的意图，生成更生动、更贴近用户需求的内容。RAG，即检索增强生成，顾名思义，就是在生成文本内容时，先进行信息检索，然后将检索到的相关信息作为上下文，输入给大语言模型（LLM），从而生成更准确、更丰富的答案。最近我打算做一个AI+文旅赛道的应用去参加比赛，但是这其中很独特的一点就是需要用到视觉RAG，这样才能够给作品提供更好的使用体验。欢迎在评论区留言，一起交流探讨！
多模态RAG的4种模式简单实践及RAG切分的开源工具Chonkie
m0_59163425的博客
11-18 1226
多模态RAG的一些理论方法，分为两类，一种是(将一个文档切分为页面，然后再用版式识别的方式对文档进行各种模态元素进行分割、解析、提取，然后再嵌入、检索）；(将文档切分为页面图像，不再细分，然后根据页面图像级别进行检索，类似于docvqa)，而纸上得来终觉浅，绝知此事要躬行，我们来讲讲几个多模态RAG的四个简单动手实践脚本。另一个是关于RAG切分的开源工具Chonkie，对于RAG切分不熟悉的，可以跑一跑看看。坚持，总是会有收获的。
VISRAG论文介绍：一种直接的视觉RAG
weixin_63866037的博客
01-06 383
VisRAG 的新颖设计突出了直接利用 VLM 而无需中间解析，可以重新定义 RAG 系统的边界。，产生一系列隐藏状态，最终嵌入通过对最后一层VLM隐藏状态进行加权平均池化得到。在用户查询时，同样用这个VLM对用户的Query进行编码，并在RAG数据库中进行查找。VisRAG-Ret使用VLM直接对文档页面进行编码，而不是先解析文档获取文本。Method：和传统基于文本的RAG一样，VISRAG也分为检索阶段和生成阶段，分别叫做VisRAG-Ret和VisRAG-Gen。，一种直接的视觉RAG。
Ollama 0.4 发布！支持 Llama 3.2 Vision，实现多模态 RAG
Everly_的博客
11-10 5475
最近，Ollama 推出了 0.4 版本，其中最大的亮点就是支持了 模型，该模型具备多模态特性，也就是说能够理解图像并将图像纳入提示词中进行处理，让模型更智能地处理RAG中的数据源，实现强大的视觉处理功能，例如：手写识别，准确读取手写内容；OCR识别，识别订单、账单等文档；图表与表格识别，解析各类数据；图像问答，实现图片内容的问答交互。这种功能在之前的Ollama版本中是不支持的，因为Llama CPP不支持视觉模型。在本篇文章中，我们就来体验一下这个“多模态”神器。目前 Ollama 支持 11B 和
RAG总结及前沿之Meta-Chunking切分思路及VisRAG多模态实现机制解读
qkh1234567的博客
10-22 1622
本文主要介绍了两个工作，一个是知识图谱用于RAG查询扩展的思路，属于知识图谱与RAG的结合范畴，一个是关于RAG发展的一个阶段性综述，提到的几个演化的点和未来的方向，值得看看。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。
RAG增强的视觉问答开发框架
新缸中之脑
09-01 1208
检索增强生成 (RAG) 是一种强大的技术，可以提高大型语言模型 (LLM) 生成的答案的准确性和可靠性。它还提供了检查模型在特定生成过程中使用的源的可能性，从而使人类用户更容易进行事实核查。此外，RAG 可以使模型知识保持最新状态并整合特定主题的信息，而无需进行微调。总体而言，RAG 提供了许多好处和很少的缺点，并且其工作流程易于实施。正因为如此，它已成为许多需要最新和/或专业知识的 LLM 用例的首选解决方案。
RAG 增强视觉问答的简单框架
ms44的专栏
09-05 809
检索增强生成 (RAG) 是一种强大的技术，可以提高大型语言模型 (LLM) 生成的答案的准确性和可靠性。它还提供了检查模型在特定生成过程中使用的源的可能性，从而使人类用户更容易进行事实核查。此外，RAG 可以使模型知识保持最新状态并整合特定主题的信息，而无需进行微调。总体而言，RAG 提供了许多好处和很少的缺点，并且其工作流程易于实施。正因为如此，它已成为许多需要最新和/或专业知识的 LLM 用例的首选解决方案。
MiniCPM-V 系列模型在多模态文档 RAG 中的应用（文档视觉端到端检索+视觉端到端生成，纯视觉模型RAG）
bokesyo的博客
08-19 524
在相当长一段时间内，检索增强生成（RAG）需要使用 OCR 技术把文档中的文本抽取出来，接着使用文本嵌入模型获得语义向量，利用语义向量构建知识库进行检索。这种方法，会丢失所有的图像信息、大部分表格信息、图表信息，存在不可避免的信息损失。是否能够用一种近乎无损的方法来表征复杂图文文档，从而用来信息无损地检索多模态文档？
在 RAG（检索增强生成）中整合视觉模型以增强文档处理
weixin_41496173的博客
11-05 912
检索增强生成（Retrieval-Augmented Generation, RAG）模型广泛用于生成基于外部知识的文本内容。传统 RAG 模型依赖文本数据进行检索和生成，但在实际应用中，文档的视觉信息（如页面布局、图像、表格）同样重要。为了更有效地处理包含复杂视觉信息的文档，新一代模型如 VisRAG 和 ColPali 应运而生，它们将视觉语言模型（Vision-Language Models, VLM）融入 RAG 管道，直接利用文档图像进行检索与生成。本教程将详细介绍 VisRAG 和 ColPal
硬核攻略！图像+文本多模态 RAG 全能指南
zhishi0000的博客
01-02 3148
在本文的结尾，我们将结合理论与代码，基于动物图像及描述的数据集，详细介绍如何实现上述两种多模态检索方法。最终，该系统将能够处理用户查询，返回相关图像和文本数据，为多模态检索增强生成（RAG）应用程序提供强大的检索机制。
RAG技术新篇章：多模态图片检索的深度解析
2401_84204413的博客
08-19 1968
上篇文章我们做了文本、表格摘要，现在来做图片摘要，我们写了一个类。# 提示词希望LLM担任助理的角色，帮助给图片做摘要。摘要是基于图片的分析来做的，拿到摘要后可以用来做retrieval 也就是检索。"""content=[},# 使用的是base64编码的图片])# 返回的就图片数据和LLM返回当我们有了类，就可以和上篇文章一样做原图片和summarize的关联。摘要中，介绍了图片中包含了三个独立的图表，包含了不同的经济和市场数据。分别介绍了三个图标包含的数据信息。
RAG模型的高级优化技术
AI天才研究院
03-16 179
1. 背景介绍 1.1 图像分割的重要性 图像分割是计算机视觉领域的一个重要研究方向，它的目的是将图像划分为具有相似特征的区域，从而为后续的图像分析和理解提供基础。图像分割在许多实际应用中都有着广泛的应用，如目标检测、图像编辑、医学图像分析等。 1.2
AI大模型技术应用：唐诗三百首RAG检索增强生成实践
资源摘要信息:"《AI大模型应用》--唐诗三百首RAG检索增强生成.zip" 在当今信息技术迅速发展的时代，人工智能（AI）作为一门前沿技术，在各个领域得到了广泛应用，特别是大型语言模型（如GPT、BERT等）的应用，给...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值