【CVPR2024】《TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document》译读笔记

TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document

Keywords: Agent, App Agent

摘要

本文介绍了TextMonkey，一种以文本为中心的任务而定制的大型多模态模型（LMM）。本文的方法引入了多个维度的增强：通过采用零初始化的 Shifted Window Attention，本文在更高的输入分辨率下实现了跨窗口连通性（cross-window connectivity）并稳定了早期训练；本文假设图像可能包含冗余的tokens，通过使用相似性过滤出重要的tokens，本文不仅可以简化token长度，还可以提升模型的性能。此外，通过扩展模型的功能以涵盖文本识别和基准定位（grounding），并将位置信息纳入响应中，本文还增强了可解释性。它还可以继续learns、通过微调（finetuning）来执行屏幕截图的相关任务。模型在12个基准测试中的评估显示出显著的改进：场景文本类型任务（包括STVQA、TextVQA和OCRVQA）中提升了5.2%，文档导向任务（如DocVQA、InfoVQA、ChartVQA、DeepForm、Kleister Charity 和 WikiTableQuestions）提升了6.9%，Key Information Extraction任务（包括FUNSD、SROIE和POIE）提升了2.8%。它在场景文本定位中以10.9%的增幅超越了其他方法，并在OCRBench上设立了新基准，OCRBench是一个包含29项OCR相关评估的综合性基准测试，本文得分为561，超过了以往开源的多模态文档理解大模型（large multimodal models）。代码将在 https://github.com/Yuliang-Liu/Monkey 发布。

索引项：多模态大模型，文档分析，场景文字，分辨率，OCRBench

1 引言

从各种来源（包括表格、表单和发票等文档）以及生活文本中提取关键信息对于工业界和学术界研究至关重要，旨在自动化和优化基于文档和场景文本的工作流程。该领域需要文档图像和真实场景中的文本检测和识别、语言理解以及视觉和语言（vision and language）的整合。