ViDoRAG：开源多模态文档检索框架，多智能体推理+图文理解精准解析文档

最新推荐文章于 2025-05-14 16:36:05 发布
最新推荐文章于 2025-05-14 16:36:05 发布
阅读量1k 收藏 10
点赞数 30
分类专栏： 每日 AI 项目与应用实例 文章标签： 开源 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19841021/article/details/146029806
版权

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🚀 「PDF分析要失业？阿里开源视觉文档核弹：多智能体动态推理，复杂图表秒变答案」

大家好，我是蚝油菜花。你是否还在为这些场景抓狂——

  • 👉 百页技术文档图文混杂，关键信息像玩「大家来找茬」
  • 👉 学术论文图表公式连环嵌套，检索3小时理解5分钟
  • 👉 产品手册跨页流程图看不懂，AI生成答案总在瞎编…

今天揭秘阿里通义实验室的 ViDoRAG ，重新定义视觉文档理解！这个融合多模态检索与动态推理的框架，让AI真正学会「看图说话」：

  • ✅ 高斯混合模型 智能调配文本/视觉权重
  • ✅ Seeker-Inspector-Answer 三体协作推理
  • ✅ 动态调整检索粒度 拒绝无效信息轰炸

这个由阿里巴巴通义实验室联合中科大、上交大推出的视觉文档检索增强生成框架，基于多智能体协作和动态迭代推理，显著提升了复杂视觉文档的检索和生成效率。无论是教育、金融还是医疗领域，ViDoRAG 都能为你提供精准的文档分析和答案生成服务。接下来，让我们一起深入了解这个强大的工具！

🚀 快速阅读

ViDoRAG 是一个基于多智能体协作的视觉文档检索增强生成框架。

  1. 核心功能：整合视觉和文本信息，支持动态迭代推理，提升复杂文档的理解和生成效率。
  2. 技术原理：采用高斯混合模型（GMM）的多模态混合检索策略，动态调整检索结果数量，优化生成质量。

ViDoRAG 是什么

ViDoRAG

ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架。它基于多智能体协作和动态迭代推理，解决了传统方法在处理复杂视觉文档时的检索和推理局限性。

ViDoRAG 使用高斯混合模型（GMM）的多模态混合检索策略，动态调整检索结果数量，优化文本和视觉信息的整合。框架中包含 Seeker、Inspector 和 Answer 三种智能体，分别负责快速筛选、详细审查和最终答案生成，基于迭代交互逐步细化答案，提升生成质量和一致性。

ViDoRAG 的主要功能

  • 多模态检索：整合视觉和文本信息，实现精准的文档检索。
  • 动态迭代推理：多智能体协作（Seeker、Inspector、Answer Agent），逐步细化答案，提升推理深度和准确性。
  • 复杂文档理解：支持单跳和多跳推理，处理复杂的视觉文档内容。
  • 生成一致性保障：基于 Answer Agent 确保最终答案的准确性和一致性。
  • 高效生成：动态调整检索结果数量，减少计算开销，提升生成效率。

ViDoRAG 的技术原理

ViDoRAG-pipeline

  • 多模态混合检索：结合文本和视觉检索结果，基于高斯混合模型（GMM）动态调整检索结果数量。GMM 拟合查询与文档集合的相似度分布，动态确定最优的检索结果数量（Top-K），避免固定数量检索带来的噪声和计算开销，有效整合视觉和文本信息，提升检索精度，减少无关信息的干扰。
  • 动态迭代推理框架：
    • Seeker Agent：负责快速筛选相关图像或文档片段，提供全局线索。
    • Inspector Agent：对筛选结果进行详细审查，提供反馈或初步答案。
    • Answer Agent：整合 Inspector 的初步答案，验证一致性生成最终答案。
  • 粗到细的生成策略：从全局视角开始，逐步聚焦到局部细节，多智能体协作实现从粗到细的生成过程，减少无关信息的干扰，提升生成效率和准确性。
  • 推理能力激活：基于迭代推理和多智能体协作，激活模型的推理能力，特别是在处理复杂视觉文档时，提升模型在多跳推理和复杂文档理解任务中的表现。
  • 动态检索长度调整：基于 GMM 动态调整检索结果数量，避免固定 Top-K 值带来的局限性，减少计算开销，提升检索效率和生成质量。

如何运行 ViDoRAG

1. 环境准备

# 创建环境
conda create -n vidorag python=3.10
# 克隆项目
git clone https://github.com/alibaba-nlp/ViDoRAG.git
cd ViDoRAG
# 安装依赖
pip install -r requirements.txt

2. 构建索引数据库

在嵌入整个数据集之前，可以运行 ./llm/vl_embedding.py 检查嵌入模型是否正确加载：

python ./llm/vl_embedding.py

然后运行 ingestion.py 嵌入整个数据集：

# 文档嵌入和多模态嵌入
python ./ingestion.py

3. 运行多模态检索器

尝试使用基本的单模态搜索引擎：

from search_engine import SearchEngine
# 初始化引擎
search_engine = SearchEngine(dataset='ViDoSeek', node_dir_prefix='colqwen_ingestion',embed_model_name='vidore/colqwen2-v1.0')
# 检索结果
recall_results = search_engine.search('some query')

4. 运行多智能体生成

可以直接使用 vidorag_agents.py 脚本进行生成，或将其集成到自己的框架中：

from llms.llm import LLM
vlm = LLM('qwen-vl-max')
agent = ViDoRAG_Agents(vlm)
answer=agent.run_agent(query='Who is Tim?', images_path=['./data/ExampleDataset/img/00a76e3a9a36255616e2dc14a6eb5dde598b321f_1.jpg','./data/ExampleDataset/img/00a76e3a9a36255616e2dc14a6eb5dde598b321f_2.jpg'])
print(answer)

5. 运行评估

使用基于 LLM 的评估方法进行端到端评估：

python eval.py \
  --experiment_type retrieval_infer ## 选择 retrieval_infer/dynamic_hybird_retrieval_infer/vidorag
  --dataset ViDoSeek ## 数据集文件夹名称
  --embed_model_name_vl ## 视觉语言嵌入模型名称
  --embed_model_name_text ## 文本嵌入模型名称
  --embed_model_name ## 仅用于单一嵌入模型评估
  --generate_vlm ## 视觉语言模型名称，如 gpt-4o/qwen-max-vl

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

ViDoRAG：视觉文档认知革命的技术内核与实践突破——多模态混合检索与智能体协同推理的范式创新
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
03-11 183
在视觉文档（Visually-Rich Documents）处理需求激增的今天，阿里巴巴通义实验室开源的ViDoRAG系统，以79.4%的准确率​（较传统RAG提升10%+）重新定义了多模态文档理解的边界。这套框架不仅攻克了图文混排文档的语义割裂难题，更通过首个专为大规模文档设计的ViDoSeek评测基准，为行业树立了新的技术标杆。
多智能体协作中的行为推理机制全解析：MuMA-ToM 框架 × 模型对比 × 工程实战
努力分享一些人工智能相关的知识干货！
04-06 931
随着大模型能力突破，AI 智能体正从“孤立响应”走向“协作协同”，真正智能的关键在于：是否具备理解他人意图、预测行为并做出自适应决策的能力。 本文围绕 MuMA-ToM 框架（Multi-modal Multi-agent Theory of Mind），系统讲解了多智能体系统中行为推理机制的三大任务： 🧠 意图推理：Agent 是否能理解他人“想做什么” 🔮 行为预测：是否能准确预测对方下一步行动 🧩 行为解释：能否从心理角度解释他人行为背后的动机
ViDoRAG: Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents论文解读
weixin_38252409的博客
03-11 755
近来，deepseek火爆流行，席卷中国行业，引发了rag相关的智能体agent。然而，理解视觉丰富的文档中的信息对于传统的检索增强生成（Retrieval-Augmented Generation, RAG）方法来说仍然是一个重大挑战。现有的基准主要集中在基于图像的问题回答（QA），而忽视了在密集的视觉文档中进行高效检索、理解和推理的基本挑战。为了弥合这一差距，我们引入了ViDoSeek，一个旨在评估RAG在需要复杂推理的视觉丰富文档上性能的新数据集。为此，本篇文章解读ViDoRAG论文。
ViDoRAG：提升视觉RAG性能10%
m0_59163425的博客
03-21 895
例如，一份金融报告可能包含复杂的图表和表格，传统的 RAG 系统只能提取文本信息，而忽略了图表中的关键数据，导致信息不完整。这种多智能体框架通过迭代推理的方式，逐步优化答案的生成过程，减少了无关信息的干扰，提升了推理的鲁棒性。由于模型的固有特性，LLM 的推理能力比 VLM 更强。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
下一代RAG：通义实验室发布多代理RAG框架ViDoRAG
weixin_43589681的博客
03-04 772
点击关注我们，🚀这里是AI技术、产品、工程与学术的交汇点！我们致力于为您带来最前沿的AI资讯、最深入的技术解析、最实用的产品应用以及最具启发性的学术成果。检索增强生成（Retrieval-Augmented Generation, RAG）通过使大模型（LMs）能够利用外部知识解决问题来增强其能力。随着信息表达形式的日益多样化，我们经常需要处理包含。这些视觉元素使信息更易理解，并广泛应用于教育、金融、法律等领域。
【AI论文】ViDoRAG：通过动态迭代推理代理实现视觉文档检索增强生成
m0_66899341的博客
03-04 862
理解富含视觉信息的文档中的信息，对于传统的检索增强生成（Retrieval-Augmented Generation，RAG）方法来说，仍然是一个重大挑战。现有的基准测试主要集中在基于图像的问答（Question Answering，QA）上，忽视了在密集视觉文档中进行高效检索、理解和推理的根本挑战。为了弥补这一空白，我们推出了ViDoSeek，这是一个新颖的数据集，旨在评估RAG方法在需要复杂推理的富含视觉信息的文档上的性能。
RAG的下一形态？通义实验室：ViDoRAG！
Python_cocola的博客
04-23 628
ViDoRAG 的提出，为大规模视觉文档集合的检索增强生成提供了一条全新的路径。凭借创新的多智能体框架和多模态混合检索策略，ViDoRAG 在复杂视觉文档的推理和生成能力方面取得了显著提升，同时也为未来的研究和应用指明了新方向。接下来的工作将重点聚焦于优化系统效率和减少模型幻觉，以在保持高准确率的同时，进一步降低计算成本，提高响应速度和可扩展性。这包括对多智能体框架的优化，以及更精细的检索和生成流程管理。此外，我们还将探索更加严格的验证机制和更精准的推理步骤，以确保生成的答案更具可靠性和准确性。
多模态大模型联合训练机制解析：图文音一体 × 架构融合 × 工程实战
努力分享一些人工智能相关的知识干货！
04-09 1101
多模态已成为大模型演进的主战场，但联合训练远比想象复杂。本篇深入讲解多模态模型如何实现语义对齐、架构融合与协同训练机制，配合真实工程实现路径，带你掌握图文音一体的智能体基础能力构建方法。
国产大模型图文搜索系统实战：Qwen2.5-Omni 多模态向量检索 × API 封装全流程复现
努力分享一些人工智能相关的知识干货！
03-31 926
本篇带你从零搭建一个国产大模型驱动的图文搜索系统，以 Qwen2.5-Omni 为基础，完成图像+文本向量提取、FAISS / Milvus 检索系统构建、检索接口服务封装、多端调用适配等完整流程。支持上传图片 + 提问，快速召回相似图文内容，并可扩展为 RAG 知识库、图题检索系统或图文审阅平台。适合想将国产大模型落地多模态场景的开发者、创业者、AI应用工程师深入参考使用。
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
丨汀、的博客
07-25 8457
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
让RAG更聪明！通义实验室ViDoRAG开启视觉文档检索增强生成新范式
Paper weekly
03-06 141
在数字化浪潮席卷而来的今天，视觉文档已然成为信息传递的重要载体。从学术报告中的复杂图表，到商业计划书里的精妙布局，再到医疗档案中的多维数据展示，这些富含视觉元素的文档，不仅仅是简单的文字堆砌，而是融合了多种视觉元素。它们在教育、金融、法律等多个领域发挥着重要的作用，帮助我们更直观、高效地理解和传递信息。然而，如何从海量的视觉丰富文档中高效检索并生成准确的答案，一直是自然语言处理领域的重大挑战，同时...
大模型日报｜5 篇必读的大模型论文
AMiner2006的博客
03-03 805
大模型日报｜5 篇必读的大模型论文
【AI News | 20250303】每日AI进展
Jungle胡的博客
03-03 944
不过，目前它仅支持英语。”，ViDoRAG能看文字、看图片、看图表，核心是它基于高斯混合模型的多模态混合检索策略，及多智能体迭代推理机制，来提升模型在视觉丰富文档上的检索和推理能力。一款面向中文网络搜索的AI agent框架：Level-Navi Agent，它能更好的理解及回答复杂的中文搜索问题，适用于各种开/闭源 LLM，核心能力是其分层搜索能力，能像人一样分层次搜索信息，先分析问题，把复杂问题拆分成小问题。面对DeepSeek等低成本开源模型竞争，其计划推出开源AI套件，加速技术布局，巩固行业地位。
字节 Trae 国内首个 AI IDE正式上线
weixin_51674085的博客
03-04 336
比起传统的检索工具，面对需要同时理解文本和视觉信息的密集文档时，传统工具容易懵圈，要么抓不住重点，要么推理能力不够，而 ViDoRAG 采用探索、总结和反思的多智能体分工协作，比传统方法强了 10% 以上。字节发布了Trae[1] 国内版，是国内首个 AI IDE，这款 IDE 使用国产大模型提供智能问答、代码自动补全以及基于 Agent 的 AI 自动编程能力。ViDoRAG[3] 是阿里开源的一个“视觉文档检索增强生成”工具，背后是一个多智能体系统，专门为理解那些既有文字又有图片的文档设计。
flowmix/docx: 多模态文档引擎, 最新更新!
趣谈前端
09-06 388
嗨, 大家好, 我是徐小夕.之前一直在社区分享零代码&低代码的技术实践，也陆陆续续设计并开发了多款可视化搭建产品，比如：H5-Dooring（页面可视化搭建平台）V6.Dooring（可视化大屏搭建平台）橙子试卷（表单搭建引擎）Nocode/WEP 文档知识引擎最近在规划做一款新的可视化系列搭建产品——flowmix.flowmix, 基于“简” 这一设计哲学, 脱离传统搭建工具的各种复杂...
Void: Cursor 的开源平替
05-14 978
在你的代码库中使用 AI 代理，检查点并可视化更改，并将任何模型或主机本地化。Void 直接向提供者发送消息，而不会保留你的数据。拥有与 Cursor 几乎一样强大的编程功能，最大的不同 Void 是可直接连接任何 AI 模型或使用本地部署模型，无需再经过第三方服务器。
鸿蒙北向应用开发: deveco5.0 创建开源鸿蒙项目
她的吻让他
05-13 904
本地已经安装deveco5.0。
Nginx 动静分离在 ZKmall 开源商城静态资源管理中的深度优化
最新发布
05-14 992
在 B2C 电商高并发场景下，静态资源（图片、CSS、JavaScript 等）的高效管理直接影响页面加载速度与用户体验。ZKmall开源商城通过对 Nginx 动静分离技术的深度优化，将静态资源响应速度提升 65%，带宽成本降低 40%，成功支撑日均千万级访问量下的系统稳定运行。其核心优化策略涵盖缓存策略精细化、资源加载智能化、负载均衡动态化三大维度，为电商静态资源管理提供了可复用的技术方案。
开源的多模态视觉大模型
01-08
### 开源多模态视觉大模型 #### OpenAI CLIP OpenAI 的 CLIP (Contrastive Language–Image Pre-training) 是一个多模态模型，能够理解图像和文本之间的关系。CLIP 使用大量的互联网图片及其描述进行训练，在多种跨模态任务上表现出色[^1]。 ```python import clip import torch model, preprocess = clip.load("ViT-L/14") ``` 此代码片段展示了如何加载预训练好的 CLIP 模型 `ViT-Large-Patch14`。该模型可以用于处理涉及图像与文本的任务，比如图像检索、分类等。 #### BLIP (Bootstrap Language-Image Pre-training) BLIP 是由 Salesforce 提出的一个强大的多模态预训练框架。它不仅可以在图文匹配方面取得优异成绩，还能够在无需微调的情况下生成高质量的图像字幕[^3]。 ```bash pip install git+https://github.com/salesforce/blip.git ``` 安装命令行工具后，可以通过简单的 API 调用来实现复杂的多模态应用开发。 #### M6 和 Qwen 阿里云发布的M6以及其升级版Qwen也是重要的开源多模态大模型系列。这些模型支持超过数百种下游任务，并且拥有从轻量级到超大规模的不同版本供开发者选择[^4]。 ```python from transformers import AutoModelForVision2Seq, AutoProcessor processor = AutoProcessor.from_pretrained("Qwen/Qwen-VL-7B") model = AutoModelForVision2Seq.from_pretrained("Qwen/Qwen-VL-7B") ``` 这段 Python 代码说明了怎样利用 Hugging Face Transformers 库快速部署 Qwen 多模态模型来进行推理计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值