【论文笔记】LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking

已于 2022-05-29 13:17:23 修改
阅读量3.6k 收藏 10
点赞数 1
分类专栏： 文档信息抽取 文章标签： 人工智能 深度学习 计算机视觉
于 2022-05-29 13:09:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OneYearIsEnough/article/details/125029834
版权

文章目录

LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking

基本信息

  • 论文链接：arxiv
  • 发表时间：2022
  • 应用场景：文档信息抽取

摘要

存在什么问题解决了什么问题
1. 自从LayoutLM提出后，有很多基于自监督预训练的多模态技术在文档理解任务取得了瞩目的成绩，在文本模态上基本保持一致，采取MLM预训练策略，但是在图像模态上的预训练任务往往是不同的，这些不同无疑增加了多模态特征学习的难度。1. 提出了一个采取统一文本和图像掩膜任务并应用于Document AI的多模态预训练模型——LayoutLMv3。
2. 不再需要预训练CNN或者Faster-RCNN进行视觉特征抽取。
3. LayoutLMv3不论在text-centric task还是image-centric task上均取得了SOTA。

模型结构

image-20220529112207850

Embedding

Text Embedding

采取预训练好的RoBERTa生成每个token的 text embedding。

Layout Embedding

和v1、v2不同的是，这里采用了segment level layout emebdding，即每个token都共用了ocr检测框的坐标，进而生成相应的embedding vector，这么做的原因是每个ocr框中的单词通常都代表相同的语义信息。

Image Embedding

不同于先前的文档理解多模态模型，大都需要一个CNN或者Faster-RCNN抽取图片上的视觉信息。

从VIT收到启发，直接采用VIT的预处理策略：图片resize->分patch->线性映射，组成shape= [ h w / p a t c h _ s i z e 2 , d ] [hw/patch\_size^2, d] [hw/patch_size2,d]的tensor，再加上其1d position embedding，就构成了视觉特征。

这样做降低了模型参数量、移除了相对较复杂的预处理流程。

作者通过先前实验发现这里用1d position embedding就够了，因为2d position embedding并没有收益。

Self-attention

沿用layoutLMv2的spatial aware self attention。

Pre-training Objectives

Masked Language Modeling(MLM)

每次mask掉30%的token。

不再是随机、孤立的mask掉某个token，而是一次性mask一定长度的tokens。长度从泊松分布（λ=3）中抽样确定。从视觉上下文token（ X M ′ X^{M'} XM′）以及文本上下文token（ Y L ′ Y^{L'} YL′）来预测这些被mask掉的token。注意视觉信息要同时被mask掉。

image-20220529123116618

Masked Image Modeling(MIM)

随机mask掉约40%的image toke，mask策略采用blockwise masking strategy。（具体参照Beit）。

被mask掉的patch通过image tokenizer转化为离散的数字（image tokenizer来源于预训练DiT），进而对这些masked patch进行预测即可。

image-20220529124159340

Word-Patch Alignment(WPA)

前俩预训练任务没有显式的做visual和text之间的模态对齐。

对于前两个任务所产生的输入，这里会对每个text token赋予<aligned>以及<unaligned>标签。

对于那些text token没被MLM掉，但是被MIM掉（每个text token会有其位置信息的）的，赋予<unaligned>标签。对于那些没被MLM掉，也没被MIN掉的，赋予<aligned>标签。

对于以上被标记了的token，通过两层FC进行预测是aligned还是unaligned，所以是一个二分类。

这里要忽略掉那些被MLM掉的text token，即它们不参与loss计算，这么做事为了防止模型从masked text以及image patch之间学到一些没什么用的关系。

image-20220529125112448

实验

  • Base和Large模型均在多数数据集上取得SOTA。

    image-20220529125830611

  • 文档版面分析任务上，仅用视觉模态作为输入抽取图像特征后输入给Cascade R-CNN的Neck，取得SOTA效果。

    image-20220529130316481

  • 消融实验，三个预训练任务全上效果是最好的。

    image-20220529130404362

总结

  1. LayoutLMv3对LayoutLM系列模型的预训练方法进行了重新设计，不再有视觉模型，转而采用VIT代替，减少了模型参数。采用MLM、MIM以及MPA三项预训练任务来学习多模态特征表示，在image-centric以及text-centric任务上取得多个SOTA。
  2. RoBerta、Beit的后续学习。
每天想peach
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微调 LayoutLM v3 以进行发票处理，并将其性能与 LayoutLMv2 进行比较(教程含源码)
iCloudEnd的博客
09-01 824
文档理解是文档处理和提取的第一步也是最重要的一步。它是从非结构化或半结构化文档中提取信息并将其转换为结构化形式的过程。然后，这种结构化表示可用于支持各种下游任务，例如信息检索、摘要、分类等。文档理解有许多不同的方法，但它们都有相同的目标：创建可用于进一步处理的文档内容的结构化表示。对于发票、收据或合同等半结构化文档，随着 LayoutLM v1 和 v2 的开发，微软的layoutLM 模型显示出了巨大的前景。深入的教程可以参考我之前的两篇文章《用于发票识别的微调 Transformer 模型》和《用于发票
LayoutLM、LayoutLMV2、LayoutXLM、LayoutLMV3
北落师门XY的博客
08-20 8394
微软一代LayoutLM 用途：表单理解、票据理解、文档图像分类。也就是进行实体识别及分类。 paper: https://github.com/microsoft/unilm/tree/master/layoutlm 简介： https://www.msra.cn/zh-cn/news/features/layoutlm code: https://github.com/microsoft/unilm/tree/master/layoutlm 注意：https://github.com/m
LayoutLMv3
qq_36924281的博客
11-08 1271
为了克服文本和图像模态预训练目标的差异，促进多模态表示学习，提出了LayoutLMv3，通过统一的文本和图像掩码目标MLM和MIM预训练文档AI的多模态Transformers模型。具体来说，当对应的图像标记没有被掩码时，我们将对齐标签分配给未掩码的文本标记，否则分配一个未对齐的标签。它在transformer模型中联合学习图像文本和多模态表示，具备统一的MLM（掩码），MIM和WPA..这使得LayoutLMv3成为第一个不使用CNN做图像嵌入的多模态预训练文档模型，这大大减少了参数并且避免了区域注释。
【layoutlmv3推理】无法识别的pdf使用ocr识别代码demo示例
最新发布
懒惰是科技进步的原始动力
04-24 786
PDF识别为空时，OCR代码示例，模型layoutlmv3
【 LayoutLM】 LayoutLMv3---统一的文本和图像掩码来预训练文档 AI 的多模态 Transformer
h661975的博客
04-02 1369
从而缓解了这个问题。比较模型 #3 和模型 #2 的结果，MIM 目标有利于 CORD 和 RVL-CDIP。由于简单地使用线性图像嵌入改进了 FUNSD，因此 MIM 不会进一步对 FUNSD 做出贡献。通过在训练中结合 MIM 目标，在微调 PubLayNet 时损失会收敛，如图 4 所示，并且获得了理想的 mAP 分数。结果表明，MIM 可以帮助规范训练。因此，MIM 对于 PubLayNet 上的文档布局分析等视觉任务至关重要。
layoutlmV3使用步骤
weixin_44137397的博客
08-30 4952
layoutlmV3使用步骤
unilm layoutlmv3 训练代码调试 SER 推理可视化
gjj19901005的博客
08-20 1734
unilm layoulmv3 训练代码调试 SER 推理可视化
【深度学习论文】FaceNet: A Unified Embedding for Face Recognition and Clustering
01-07
CSDN博客：【深度学习论文笔记】FaceNet: A Unified Embedding for Face Recognition and Clustering CSDN博客：FaceNet–Google的人脸识别 《21个项目玩转深度学习》6章。 实现：davidsandberg/facenet ...
qt6在线安装文件：qt-unified-windows-x64-online 向下兼容
12-18
qt6在线安装文件：qt-unified-windows-x64-online 向下兼容
2-3D-R2N2 A Unified Approach for Single and Multi-view 3D Object
08-03
3. 实验与比较 在一系列实验中，3D-R2N2不仅在单视图重建任务上表现出色，而且在处理纹理稀少或宽基线视图的复杂场景下，仍能产生高质量的3D重建结果。这些结果表明，3D-R2N2对于提高3D重建的鲁棒性和泛化能力具有...
T5: Text-To-Text Transfer Transformer-python
06-18
T5: Text-To-Text Transfer TransformerT5：Text-To-Text Transfer Transformer T5 主要用作代码，用于重现 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 中的实验。 在论文...
layoutlm_CORD:在 CORD 数据集上评估 Layoutlm 模型
05-29
layoutlm_CORD 介绍 这个 repo 是 Layoutlm 模型的一个实现，参见 [1]，来自源代码（因为我没有设法让它与 Huggingface 实现一起工作： 并在 CORD 数据集上进行了基准测试，参见 [2]。 结果 我将预训练 LayoutLM 在 IIT-CDIP 数据集（大版本）上的性能与 Bert（大版本）进行了比较。 验证集 模型 F1_Score 精确 记起 布局LM大 0.9562 0.9577 0.9546 伯特大 0.9474 0.9466 0.9481 测试集 模型 F1_Score 精确 记起 布局LM大 0.9843 0.9845 0.9841 伯特大 0.9859 0.9861 0.9856 在验证集中，Layoutlm 的表现优于 Bert，但在测试集中却并非如此。 我需要做更多调查。 尽管如此，Bert 花了 11
Active Transfer Learning Network: A Unified Deep Joint Spectral-Spatial Feature Learning Model for Hyperspectral Image Classification
02-07
To address this problem, this paper proposes a unified deep network, combined with active transfer learning (TL) that can be well-trained for HSIs classification using only minimally labeled training ...
LayoutLMv3阅读笔记
qq_48612666的博客
12-26 797
关于LayoutLMv3的个人学习笔记
layoutlmv3训练CDLA数据集
sexy19910923的博客
03-11 1137
利用layoutlmv3模型训练CDLA文档版面分析
多模态论文笔记ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_44031582的博客
10-08 3471
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision Abstract Vision-and-Language Pre-training(VLP)提高了各种视觉-语言联合的下游任务的性能。目前的VLP方法在很大程度上依赖于图像特征提取过程，其中大多数涉及region super-vision区域监督（如对象检测）和卷积结构(如ResNet)。虽然在文献中被忽视了，但我们发现两者都有问题（1）效率/速度，
【论文精读】 专注于文档信息抽取的Layout 系列模型
芒果不茫的博客
02-27 809
详细讲述Layout系列模型，包括LayoutLM、LayoutLMv2、LayoutXLM、LayoutLMv3，深挖技术细节，模型各部分组成与训练方法。
【读点论文】LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking将BERT的训练思路放在图像+文本上
白水空空
12-30 1105
我们在 FUNSD 数据集和 CORD 数据集上进行了实验。FUNSD 是从 RVL-CDIP 数据集 中采样的噪声扫描形式理解数据集。FUNSD 数据集包含 199 个文档，其中包含 9,707 个语义实体的综合注释。我们专注于 FUNSD 数据集上的语义实体标记任务，为每个语义实体分配“问题”、“答案”、“标题”或“其他”之间的标签。训练和测试部分分别包含 149 个和 50 个样本。CORD是一个收据关键信息提取数据集，在4个类别下定义了30个语义标签。
多模态预训练模型指北——LayoutLM
Paper weekly
09-18 1967
©PaperWeekly 原创 ·作者 | 杨希单位 | 中国移动云能力中心研究方向 | 自然语言处理引子LayoutLM 从提出到现在已经有 2 年多的时间了，多模态的文档、表单类的识别任务也逐渐走向成熟，在上一期《多模态预训练模型指北——LayoutLM（一）》笔者详细介绍了微软提出的 LayoutLMv1 以及对应的升级版 LayoutLMv2。在此基础上，本期简单的介绍一下微软在 202...
facenet: a unified embedding for face recognition and clustering
03-16
FaceNet是一种用于人脸识别和聚类的统一嵌入方法。它使用深度学习技术将人脸图像转换为高维向量，使得相似的人脸在向量空间中距离较近，不相似的人脸距离较远。这种方法在人脸识别和聚类任务中取得了很好的效果，被广泛应用于人脸识别、人脸搜索等领域。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值