mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding
相关链接:arxiv
关键字:Visual Document Understanding、Multimodal Large Language Models (MLLMs)、Unified Structure Learning、H-Reducer、DocStruct4M
摘要
结构信息对于理解文本丰富的图像(如文档、表格和图表)的语义至关重要。现有的多模态大型语言模型(MLLMs)具备文本识别能力,但缺乏对文本丰富文档图像的通用结构理解能力。本文强调了结构信息在视觉文档理解中的重要性,并提出了统一结构学习来提升MLLMs的性能。我们的统一结构学习包括了跨5个领域的结构感知解析任务和多粒度文本定位任务:文档、网页、表格、图表和自然图像。为了更好地编码结构信息,我们设计了一个简单有效的视觉到文本模块H-Reducer,它不仅可以保持布局信息,还可以通过卷积合并水平相邻的补丁来减少视觉特征的长度,使语言模型更有效地理解高分辨率图像。此外,我们构建了一个全面的训练集DocStruct4M来支持结构学习,并最终构建了一个小型但高质量的推理调整数据集DocReason25K来触发文档领域的详细解释能力。我们的模型DocOwl 1.5在10个视觉文档理解基准测试中取得了最先进的性能,比具有7B参数的MLLMs在5/10个基准测试中提高了10多分。我们的代码、模型和数据集已公开发布在https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl1.5。
核心方法
- 统一结构学习:提出了跨5个领域的结构感知解析任务和多粒度文本定位任务,以及一个全面的训练集DocStruct4M来支持结构学习。
- H-Reducer模块:设计了一个简单有效的视觉到文本模块,通过卷积层减少视觉特征序列长度,同时保持空间信息。
- DocReason25K数据集:构建了一个小型但高质量的推理调整数据集,以触发MLLMs在视觉文档理解中的详细解释能力。
- 两阶段训练框架:模型首先进行统一结构学习,然后在下游任务中进行多任务调整。
实验说明
实验结果数据使用以下Markdown表格展示:
模型 | DocVQA | InfoVQA | WTQ | VisualMRC | ChartQA | TextVQA | ALL |
---|---|---|---|---|---|---|---|
DocOwl 1.5 | 81.6 | 50.4 | 68.8 | 37.9 | 39.8 | 80.4 | 239.5 |
DocOwl 1.5-Chat | 82.2 | 50.7 | 68.8 | 38.7 | 40.6 | 80.2 | 246.4 |
数据要求:实验使用了多个公开的数据集,包括文档、表格、图表、网页截图和自然图像,以及相应的文本和布局信息。
数据来源:数据集来源于多个公开资源,包括CCpdf、RVL-CDIP、VisualMRC、DUEBenchmark等。
结论
本文首次提出了MLLMs在文本丰富图像上的统一结构学习,并设计了结构感知解析任务和多粒度文本定位任务。通过构建DocStruct4M数据集支持结构学习,我们的模型DocOwl 1.5在多个视觉文档理解任务上取得了最先进的性能,特别是在不需要OCR的情况下。此外,通过DocReason25K数据集的训练,DocOwl 1.5-Chat能够在视觉文档理解中提供详细的解释,展示了MLLMs在该领域的潜力。