富文本文档处理layoutMv

一，文档处理

文档智能是一种旨在针对富文本文档进行理解并抽取其中非结构化信息的技术。LayoutLM的成功证明了针对文本和布局进行预训练的有效性。在此基础上，我们提出了多模态预训练模型LayoutLMv2及其多语言扩展LayoutXLM，通过对文本、布局和图像进行联合预训练，进一步提高了模型的性能，在多项任务中取得了新的突破。PPT链接：aka.ms/AAdcz3u

富文本文档case

• receipt
• scanned form
• digital-born invoice

二，富文本文档的理解-表单理解

传统处理方法：文本进行OCR识别 ，并使用NLP抽取的方法得到键值对

存在的问题：富文本文档具有粗粒度（布局格式）和细粒度信息（文本token）和非文本的信息(下划线，未填写的空格)

三，LayoutLM

基于文档理解的预训练模型，通过将Bert的Embedding position扩展到二维的序列上，文本在文档中位置建模成一个坐标，通过Embedding的方式将其编码，并输出到transformer中利用其预测上下文的能力，进行建模，辅助下游任务，同时引进image embedding, 图像的信息，在与训练之后结合图像data在下游获得非常好的性能。
局限性：2d position Embedding 的方式获得contextual的布局信息， imag