基于多向量检索器的多模态RAG实现：用于表格、文本和图像

已于 2024-05-01 23:38:29 修改
阅读量4k 收藏 30
点赞数 22
文章标签： 人工智能 自然语言处理
于 2024-01-21 01:46:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichunericli/article/details/135724777
版权
本文介绍了如何使用多向量检索器实现RAG，以支持跨表格、文本和图像的问答。通过结合半结构化数据的处理和多模态模型，实现了在多种数据类型上的检索增强生成。文章提供了三个新的Cookbooks，展示了在混合内容文档上应用RAG的方法，包括如何处理图像、表格和文本的摘要生成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文地址：Multi-Vector Retriever for RAG on tables, text, and images

2023 年 10 月 20 日

概括

跨不同数据类型（图像、文本、表格）的无缝问答是 RAG 追求的目标之一。我们将发布three new cookbooks，展示在包含混合内容类型的文档上使用 RAG 的多向量检索器。这些cookbooks还提出了一些将多模态 LLM与多向量检索器配对以解锁图像上的 RAG 的想法。

语境

LLM 可以通过至少两种方式获取新信息：权重更新(例如微调)和RAG(检索增强生成)，它通过提示将相关上下文传递给 LLM。RAG在 事实 回忆方面具有特殊的前景，因为它将LLMs的推理能力与外部数据源的内容结合起来，这对于企业数据来说尤其强大。

改进 RAG 的方法

最低0.47元/天 解锁文章
lichunericli
关注
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
丨汀、的博客
01-09 4403
探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成
快速入门多向量检索器
weixin_69415739的博客
06-15 1558
有时摘要可以更准确地提炼出一个片段的内容，从而提高检索效果。这里我们展示如何创建摘要，然后嵌入这些摘要。chain = (符号表示管道操作符，这是一种流式处理数据的方法。每个步骤的输出会成为下一个步骤的输入。这种语法通常出现在某些特定的库或框架中，表示数据处理链中的各个步骤。提取文档内容：从输入对象中提取文档的内容。生成聊天提示模板：将提取的内容传递给聊天提示模板。执行聊天模型：将提示模板传递给 OpenAI 聊天模型进行总结处理。解析输出：将聊天模型的输出传递给字符串输出解析器进行解析。
构建基于RAG和Chroma的多模态多向量检索系统：实现智能幻灯片分析
ppoojjj的博客
08-15 978
本文介绍了如何构建一个基于RAG和Chroma的多模态多向量检索系统，用于智能幻灯片分析。这个系统结合了GPT-4V的强大图像理解能力和Chroma的高效向量检索，为用户提供了一个能够理解和回答关于幻灯片内容问题的智能助手。OpenAI GPT-4V文档：了解最新的多模态AI能力LangChain文档：深入学习如何构建复杂的AI应用Chroma官方文档：探索更多向量数据库的高级用法。
多模态RAG：结合文本、图像和视频的信息检索
chenwr_727的博客
09-12 1417
多模态 RAG 是指在传统 RAG 的基础上，扩展其信息检索和生成能力，不仅限于文本，还可以处理图像、视频、音频等多模态数据。通过多模态融合，系统可以从多样化的输入中提取关键信息，从而生成更加全面、丰富的答案或内容。
2025版最新RAG知识库中文档包含表格数据如何处理？零基础入门到精通，收藏这篇就够了
leah126的博客
01-28 2601
我们在开发RAG系统中，知识库中的数据格式可能五花八门，而且大多都是非结构化数据内容。比如知识库中的PDF文档大概率会包含表格数据，此时，我们的处理方式需要特别的注意，以确保表格信息能够被正确提取和利用。推荐使用专门的工具或库来解析PDF中的表格内容，例如，PyMuPDF 库可以提取PDF中的表格数据，并将其转换为适合检索的格式，如：Markdown或Pandas DataFrame格式。这种方法能够有效地将表格数据结构化，便于后续的检索和生成任务。
基于多向量检索器的多模态 RAG 实现
tigerinus的博客
10-26 2714
使用 LangChain 多向量检索器（Multi-Vector Retriever）结合多模态大语言模型对多内容类型的文档实现更好的 RAG 效果
LangChain——多向量检索器
cancer_s的博客
11-26 334
通常，摘要可能能够更准确地提炼出某个块的内容，从而实现更好的检索。在这里，我们展示如何创建摘要，然后嵌入它们。# 创建链chain = (| ChatPromptTemplate.from_template("总结下面的文档:\n\n{doc}")| modeldocs = []# max_concurrency最大的并行量# 添加文件到检索器# id和文档的映射sub_docs = retriever.vectorstore.similarity_search("众测活动是否有参与限制？
在LangChain中实现多向量检索器
weixin_44217158的博客
09-05 1286
在处理大型文档集合时，为了提高检索效率和准确性，通常需要将每个文档分割成更小的块，并为每个块创建单独的向量。无论是通过分割文档成较小的块，还是通过生成摘要或假设性问题，多向量检索器都能帮助我们更好地管理大量的文档数据。我们需要将分割后的文档块添加到向量存储中，并设置文档ID与文档内容之间的映射。我们需要将分割后的文档块添加到向量存储中，并设置文档ID与文档内容之间的映射。假设性问题：创建每个文档都适合回答的假设性问题，并将这些问题与文档一起嵌入。较小的块：将文档分割成较小的块，然后嵌入这些块。
Advanced RAG 07：在RAG系统中进行表格数据处理的新思路
Baihai_IDP的博客
05-15 2550
使用多模态 LLM （如 GPT-4V[14] 、LLaVA[15] 或 FUYU-8b[16]）从图像数据中生成文本摘要，然后将这些文本摘要嵌入向量化，利用这些嵌入向量，可以对图像摘要进行高效检索（retrieve），在检索到的每个图像摘要中，都保留有一个对应的原始图像的引用（reference to the raw image），这属于上文的 (i) 类方法，最后将未经处理的图像数据和文本块传递给多模态 LLM 以便生成答案。首先，使用（a）至（d）中的任何一种方法，将文档中的所有表格解析为图像形式。
构建基于Gemini的多模态RAG系统:以幻灯片问答为例
qq_29929123的博客
08-15 1038
本文介绍了如何构建一个基于Gemini的多模态RAG系统,用于幻灯片问答。这个系统结合了图像嵌入、向量检索和大语言模型,展示了多模态AI在实际应用中的强大潜力。LangChain文档Google Gemini API文档OpenCLIP GitHub仓库。
【RAG】表格场景RAG怎么做？TableRAG：一种增强大规模表格理解框架
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
10-11 2154
文档领域的RAG，之前的工作如ChatPDF等很多的RAG框架，文档数量一旦增加，将导致响应准确性下降，如下图；现有RAG方法在处理具有相似内容（在面对大量难以区分的文档时）和结构的文档时表现不佳；用户查询常常涉及元信息，还增加了检索和生成的复杂性，导致检索的准确性会下降，本文介绍的方法-HiQA，一种用于主要解决多文档问答（MDQA）中的检索增强生成方法。本文介绍了HiQA，这是一个专门为了解决现有RAG在多文档问答（MDQA）环境中的局限性而设计的新型框架，特别是在处理无法区分的多文档时。
自然语言处理:第七十一章 RAG中表格应该如何处理？
victor_manches的博客
12-03 2224
目前，检索增强生成（RAG）系统成为了将海量知识赋能于大模型的关键技术之一。然而,如何高效地处理半结构化和非结构化数据，尤其是文档中的表格数据，仍然是 RAG 系统面临的一大难题。
LLM之RAG实战（三十三）| 探索RAG在Table的应用
wshzd的博客
03-20 4397
（m）首先，应用类别（a）到（d）中的一种方法，将文档中的所有表格解析为图像形式，然后直接将所有表格图像和用户的查询发送到多模态LLM（如GPT-4V等）并返回答案。这些框架可以对整个文档进行全面的解析，并从解析的结果中提取与表相关的内容。（n）使用（m）提取的图像格式的表格，然后使用OCR模型识别表格中的所有文本，然后直接将表格中的全部文本和用户的查询发送到LLM并直接返回答案。这种方法的优点是，它可以有效地解析表，同时综合考虑表摘要和表之间的关系，而且还不需要多模型LLM的需求，从而节省了成本。
打造自己的RAG解析大模型：金融、财务、保险都需要的表格识别，只需看这一篇
zhishi0000的博客
12-09 1112
表格模型的训练已经相当成熟，除了少数特殊嵌套表格或复杂表头结构需要额外处理外，大多数常见表格的识别精度已稳定在93%以上，能够满足大多数业务需求。​。
【向量检索】之向量数据库Milvus,Faiss详解及应用案例
larrino的博客
06-18 9412
向量数据库、Milvus、FAISS、向量化、相似度计算、索引构建、ANN（Approximate Nearest Neighbor）。
实操！自有文档做RAG+微调数据集！把word/excel/ppt等做成数据集！数据处理系列
2401_85375151的博客
08-08 2529
当下内容，还未达到100分！这，涉及到OCR模型训练，更深度的，数据处理策略！雄哥会持续把真正有价值的内容，给你！还未加入？你可以在这里点击申请加入，或者在末尾联系-工程师小胖！报获取优惠券或者加入交流群！现在我们付费会员500+，活跃社群3000人+，欢迎你加入！这个数据系列，原计划更3篇！还未看前面的，直接在这里看！**方案一：**把word/ppt/pdf等不同格式，统一转为html或md，然后用把文本+图片+表格分别提取出来，最后把图片+表格单独处理成文本；**方案二：**
RAG 高级应用：基于 Nougat、HTML 转换与 GPT-4o 解析复杂 PDF 内嵌表格
FrenzyTechAI的博客
05-29 2760
RAG（检索增强生成）应用最具挑战性的方面之一是如何处理复杂文档的内容，例如 PDF 文档中的图像和表格，因为这些内容不像传统文本那样容易解析和检索。前面我们有介绍过如何使用LlamaIndex提供的LlamaParse技术解析复杂PDF文档（文档中包含图片和表格）LlamaParse 技术整体来看，对于PDF文档常规文本的提取还是比较准确的，但对于表格内容的处理，检索准确率依然还存在比较大的空间。
大规模向量检索库Faiss学习总结记录
Together_CZ的博客
08-03 3587
大规模向量检索库Faiss学习总结记录
LlamaIndex ollama多模态 RAG 实现
最新发布
02-05
### 使用LlamaIndex和Ollama实现多模态RAG #### 构建环境准备 为了使用LlamaIndex和Ollama实现多模态检索增强生成(Retrieval-Augmented Generation, RAG)，首先需要安装必要的库并配置开发环境。 ```bash pip ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值