彭博社：多模态文档理解框架M3DocRAG

📖标题：M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding
🌐来源：arXiv, 2411.04952

🌟摘要

🔸文档可视化问答（DocVQA）管道用于回答文档中的问题，具有广泛的应用。现有的方法侧重于使用多模态语言模型（MLM）处理单页文档，或者依赖于使用光学字符识别（OCR）等文本提取工具的基于文本的检索增强生成（RAG）。然而，在现实世界中应用这些方法存在困难：（a）问题通常需要跨不同页面或文档的信息，而传销无法处理许多长文档；（b） 文档通常在图形等视觉元素中包含重要信息，但文本提取工具会忽略它们。
🔸我们介绍了M3DOCRAG，这是一种新颖的多模态RAG框架，可以灵活地适应各种文档上下文（封闭域和开放域）、问题跳（单跳和多跳）和证据模式（文本、图表、图形等）。M3DOCRAG使用多模式检索器和MLM查找相关文档并回答问题，因此它可以有效地处理单个或多个文档，同时保留视觉信息。由于之前的DocVQA数据集在特定文档的背景下提出问题，我们还提出了M3DOCVQA