h661975的博客

提出 LayoutLLM ，使用 document pretrained models提出了三组不同层次的预训练任务：文档级、区域级和分段级，学习从全局到局部的文档布局。提出 LayoutCoT ，保证对于布局信息的充分使用。

从而缓解了这个问题。比较模型 #3 和模型 #2 的结果，MIM 目标有利于 CORD 和 RVL-CDIP。由于简单地使用线性图像嵌入改进了 FUNSD，因此 MIM 不会进一步对 FUNSD 做出贡献。通过在训练中结合 MIM 目标，在微调 PubLayNet 时损失会收敛，如图 4 所示，并且获得了理想的 mAP 分数。结果表明，MIM 可以帮助规范训练。因此，MIM 对于 PubLayNet 上的文档布局分析等视觉任务至关重要。

提出了一种多模态 Transformer 模型，在预训练阶段集成文档文本、布局和视觉信息，在单个框架中学习端到端的跨模态交互。同时，Transformer 架构中集成了空间感知的自注意力机制。LayoutLMv2 的两个新训练目标。第一个是提出的文本图像对齐策略，它将文本行和相应的图像区域对齐。第二种是视觉语言预训练模型中流行的文本图像匹配策略。

• 首次在单一框架中对扫描文档图像的文本和布局信息进行预训练,利用图像特征来实现新的最先进的结果。• LayoutLM 使用屏蔽视觉语言模型和多标签文档分类作为训练目标，在文档图像理解任务中显着优于几种 SOTA 预训练模型。