LayoutLMv2:视觉丰富文档理解的多模态预训练

文本和布局的预训练由于其有效的模型架构和大规模未标记扫描/数字出生文档的优势，在各种视觉丰富的文档理解任务中被证明是有效的。我们提出了具有新的预训练任务的LayoutLMv2架构，以在单个多模态框架中对文本、布局和图像之间的交互进行建模。具体而言，LayoutLMv2采用双流多模态Transformer编码器，不仅使用了现有的掩模视觉语言建模任务，还使用了新的文本-图像对齐和文本-图像匹配任务，从而更好地捕捉了预训练阶段的跨模态交互。同时，在Transformer架构中集成了空间感知自关注机制，使模型能够充分理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMv2在FUNSD(0.7895→0.8420)、CORD(0.9493→0.9601)、SROIE(0.9524→0.9781)、klester - nda(0.8340→0.8520)、RVL-CDIP(0.9443→0.9564)、DocVQA(0.7295→0.8672)等多种下游视觉丰富的文档理解任务上取得了比LayoutLM更好的结果。我们在https://aka.ms /layoutlmv2上公开了模型和代码。

可视化丰富的文档理解(VrDU，Visually-rich Document Understanding)旨在分析扫描/数字生成的业务文档(发票图像，PDF格式的表单等)，其中结构化信息可以自动提取和组织用于许多业务应用程序。与传统的信息提取任务不同，VrDU任务不仅依赖于文本信息，还依赖于视觉和布局信息，这些信息对于视觉丰富的文档至关重要。不同类型的文档表明感兴趣的文本字段位于文档中的不同位置，这通常由每种类型的样式和格式以及文档内容决定。因此，为了准确地识别感兴趣的文本字段，不可避免地要利用视觉丰富文档的跨模态特性，在单个框架中，文本、视觉和布局信息应该被端到端地联合建模和学习。

VrDU的最新进展主要有两个方向。第一个方向通常建立在文本和视觉/布局/样式信息之间的浅层融合上(Yang et al.， 2017;Liu et al.， 2019;Sarkhel and Nandi, 2019;Yu et al.， 2020;Majumder et al.， 2020;Wei et al.， 2020;Zhang等人，2020)。这些方法分别利用预训练的NLP和CV模型，并将来自多种模式的信息结合起来进行监督学习。虽然已经取得了良好的性能，但是一种文档类型的领域知识不能轻易地转移到另一种文档类型，因此一旦文档类型发生变化，这些模型通常需要重新训练。因此，不