视觉信息提取（VIE）：GeoLayoutLM: Geometric Pre-training for Visual Information Extraction

深度学习源码入门见专栏置顶～ 

论文作者：Chuwei Luo,Changxu Cheng,Qi Zheng,Cong Yao

作者单位：DAMO Academy; Alibaba Group

论文链接：http://arxiv.org/abs/2304.10759v1

项目链接：https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/GeoLayoutLM

内容简介：

1）方向：文档智能

2）应用：视觉信息提取（VIE）

3）背景：VIE通常分为两个任务：语义实体识别（SER）和关系提取（RE）。现有的预训练模型在SER方面取得了显著进展，但是对于RE任务来说，几何信息尤为重要，而现有模型隐式地学习几何表示，效果不佳。此外，预训练阶段和微调阶段之间的目标差距也限制了RE的性能。

4）方法：提出了一种名为GeoLayoutLM的多模态框架，用于VIE。GeoLayoutLM通过三个特别设计的几何相关预训练任务实现几何预训练，并在微调阶段使用新颖的关系头进行RE。这些关系头通过几何预训练任务进行预训练，并精心设计以丰富和增强特征表示。

5）结果：在标准VIE基准测试上，GeoLayoutLM在SER任务中取得了极具竞争力的分数，并且在RE方面显著优于以前的最新技术（例如，在FUNSD上的RE F1分数从80.35％提高到89.45％）。代码和模型可在https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/GeoLayoutLM上公开获取。