mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding

mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding

相关链接：arxiv
关键字：Visual Document Understanding、Multimodal Large Language Models (MLLMs)、Unified Structure Learning、H-Reducer、DocStruct4M

摘要

结构信息对于理解文本丰富的图像（如文档、表格和图表）的语义至关重要。现有的多模态大型语言模型（MLLMs）具备文本识别能力，但缺乏对文本丰富文档图像的通用结构理解能力。本文强调了结构信息在视觉文档理解中的重要性，并提出了统一结构学习来提升MLLMs的性能。我们的统一结构学习包括了跨5个领域的结构感知解析任务和多粒度文本定位任务：文档、网页、表格、图表和自然图像。为了更好地编码结构信息，我们设计了一个简单有效的视觉到文本模块H-Reducer，它不仅可以保持布局信息，还可以通过卷积合并水平相邻的补丁来减少视觉特征的长度，使语言模型更有效地理解高分辨率图像。此外，我们构建了一个全面的训练集DocStruct4M来支持结构学习，并最终构建了一个小型但高质量的推理调整数据集DocReason25K来触发文档领域的详细解释能力。我们的模型DocOwl 1.5在10个视觉文档理解基准测试中取得了最先进的性能，比具有7B参数的MLLMs在5/10个基准测试中提高了10多分。我们的代码、模型和数据集已公开发布在https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl1.5。

核心方法

1. 统一结构学习：提出了跨5个领域的结构感知解析任务和多粒度文本定位任务，以及一个全面的训练集DocStruct4M来支持结构学习。
2. H-Reducer模块：设计了一个简单有效的视觉到文本模块，通过卷积层减少视觉特征序列长度，同时保持空间信息。
3. DocReason25K数据集：构建了一个小型但高质量的推理调整数据集，以触发MLLMs在视觉文档理解中的详细解释能力。
4. 两阶段训练框架：模型首先进行统一结构学习，然后在下游任务中进行多任务调整。

实验说明

实验结果数据使用以下Markdown表格展示：

模型	DocVQA	InfoVQA	WTQ	VisualMRC	ChartQA	TextVQA	ALL
DocOwl 1.5	81.6	50.4	68.8	37.9	39.8	80.4	239.5
DocOwl 1.5-Chat	82.2	50.7	68.8	38.7	40.6	80.2	246.4

数据要求：实验使用了多个公开的数据集，包括文档、表格、图表、网页截图和自然图像，以及相应的文本和布局信息。

数据来源：数据集来源于多个公开资源，包括CCpdf、RVL-CDIP、VisualMRC、DUEBenchmark等。

结论

本文首次提出了MLLMs在文本丰富图像上的统一结构学习，并设计了结构感知解析任务和多粒度文本定位任务。通过构建DocStruct4M数据集支持结构学习，我们的模型DocOwl 1.5在多个视觉文档理解任务上取得了最先进的性能，特别是在不需要OCR的情况下。此外，通过DocReason25K数据集的训练，DocOwl 1.5-Chat能够在视觉文档理解中提供详细的解释，展示了MLLMs在该领域的潜力。