【文档智能 & LLM】LayoutLLM：一种多模态文档布局模型和大模型结合的框架

最新推荐文章于 2024-05-31 17:43:42 发布
最新推荐文章于 2024-05-31 17:43:42 发布
阅读量1.5k 收藏 20
点赞数 24
分类专栏： 大语言模型 自然语言处理 文档智能 文章标签： 大模型 多模态 大语言模型 文档智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjh_SE007/article/details/136984735
版权

前言

传统的文档理解任务，通常的做法是先经过预训练，然后微调相应的下游任务及数据集，如文档图像分类和信息提取等，通过结合图像、文本和布局结构的预训练知识来增强文档理解。LayoutLLM是一种结合了大模型和视觉文档理解技术的单模型方法，通过多模态指令数据集的微调来提高对图像文档的理解和分析能力。

LayoutLMv3

在此之前，先简单介绍下LayoutLLM的编码器LayoutLMv3。

概述：文本的布局信息使用了片段级别，一段文本共用一组坐标。视觉借鉴了ViT的方法替换CNN，减少了参数以及省去了很多的预处理步骤。使用了两种新的损失MIM和WPA进行预训练。

paper：LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking

link：https://arxiv.org/abs/2204.08387

code：https://github.com/microsoft/unilm/tree/master/layoutlmv3

模型结构

  • 文本嵌入：RoBerta backbone
  • 视觉嵌入：与layoutLMv2相同，与之前的单词级别的边界框不同，此处使用了片段级别的嵌入，即：块边界框。
  • 布局嵌入：不再使用CNN网络，采用类似ViT思想的backbone，将图片切分成一个个的patches。

预训练任务

  • Masked Language Modeling (MLM)：使用span掩码策略，mask掉30%的文本token，maks的span长度服从泊松分布(λ=3)
  • Masked Image Modeling (MIM)：
    • 用分块掩码策略随机掩盖掉40%的图像token，用交叉熵损失驱动其重建被掩盖的图像区域；
    • 图像token的标签来自一个图像tokenizer，通过图像vocab将密集图像的像素转化成离散token，相比于低级高噪声的细节部分，更促进学习高级特征；
  • Word-Patch Alignment (WPA)：学习文本单词和图像patches之间的细粒度对齐。WPA的目的是预测文本单词的相应图像补丁是否被屏蔽。具体地说，当对应的图像标记也被取消屏蔽时，为未屏蔽的文本标记分配一个对齐的标签[aligned]。否则，将指定一个未对齐的标签[unaligned]。

LayoutLLM

模型架构

LayoutLLM主要由两部分组成：编码器（Encoder）和解码器（Decoder）。

  1. 编码器：负责对文档图像进行编码，处理视觉和布局信息。这里使用的是预训练的VrDU模型，特别是LayoutLMv3，它能够捕捉文档的布局结构和文本信息，并生成相应的特征。简单来说就是将OCR文本和视觉信息从文档图像中编码，生成一个最大序列长度为512的一维序列，以便输入到Llama模型中。
  2. 解码器：基于大型语言模型（LLMs），如Llama，它负责解释任务指令，并使用其语言理解能力来分析文档的文本内容，最终输出结果。

VrDU Prompts

结合大模型，通过对不同的下游任务设定提示词。LayoutLLM能够理解不同类型的VrDU任务，并结合文档的特征来生成适当的响应。这种方法使得单一模型能够灵活地处理多种任务，而不需要为每个任务单独训练模型。

prompt格式

prompt格式和Alpaca模型的格式保持一致：

The previous information is about document images.
Below is an instruction that describes a task. Write a
response that appropriately completes the request.
### Instruction: {instruction}
### Response
不同下游任务的prompt示例

  • 文档分类：

    “执行文档分类。分类标签是...”。

  • 文档信息提取：

    “执行文档信息提取。分类标签是... 输出格式是一组提取词及其标签，用逗号分隔。如果存在多个提取目标，使用\n作为分隔符并分割输出。”。

    这个提示指导模型识别文档中的语义实体，并按照指定的格式输出提取的信息和标签。

  • 文档问答：

    “执行文档问答。问题是...”。

评价

总结

本文介绍了一种传统布局模型结合大模型做文档理解的方法：LayoutLLM。这个框架通过结合VrDU编码器来捕捉文档图像的特征，以及使用LLM作为解码器来处理任务指令，有效地提高了对文档图像的理解和分析能力。

参考文献

【1】LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking，https://arxiv.org/abs/2204.08387

【2】LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding，https://arxiv.org/abs/2403.14252

余俊晖
关注
  • 24
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding
c_cpp_csharp的专栏
06-11 282
本文提出了LayoutLLM，这是一种更灵活的文档分析方法，用于理解图像文档。视觉丰富的文档理解任务，如文档图像分类和信息提取，由于其重要性而受到了极大的关注。已经开发了现有的方法，通过结合图像、文本和布局结构的预训练意识来增强文档理解。然而，这些方法需要对每个任务和数据集进行微调，并且模型的训练和操作成本高昂。为了克服这一限制，我们提出了一种新的LayoutLLM，它将这些与大规模语言模型（LLM）集成在一起。
微调 LayoutLM v3 以进行发票处理，并将其性能与 LayoutLMv2 进行比较(教程含源码)
iCloudEnd的博客
09-01 893
文档理解是文档处理和提取的第一步也是最重要的一步。它是从非结构化或半结构化文档中提取信息并将其转换为结构化形式的过程。然后，这种结构化表示可用于支持各种下游任务，例如信息检索、摘要、分类等。文档理解有许多不同的方法，但它们都有相同的目标：创建可用于进一步处理的文档内容的结构化表示。对于发票、收据或合同等半结构化文档，随着 LayoutLM v1 和 v2 的开发，微软的layoutLM 模型显示出了巨大的前景。深入的教程可以参考我之前的两篇文章《用于发票识别的微调 Transformer 模型》和《用于发票
【OCR多模态大模型paper阅读笔记--2】 LayoutLLM: Layout Instruction Tuning with Large Language Models for Document
最新发布
Mugi_jiang的博客
05-31 351
目前使用扁平或layout文本来提示llm的方法，以及训练基于文档的mllm不能有效地捕获布局信息，限制了它们的0-shot文档理解能力。与现有的使用一般视觉预训练模型作为encoder的MLLM不同，本文将文档预训练模型作为encoder。分为文档级、区域级和段级，保证模型既能学习到文档的全局信息，又能学习到不同层次的详细信息。模型对问题有了更深入的理解，能够专注于相关区域，而不是在整个文档中搜索答案。现有的使用 MLLM 进行文档理解的工作也没有充分探索文档布局信息。文档级、区域级和段级。
LayoutLMv3
qq_36924281的博客
11-08 1343
为了克服文本和图像模态预训练目标的差异，促进多模态表示学习，提出了LayoutLMv3，通过统一的文本和图像掩码目标MLM和MIM预训练文档AI的多模态Transformers模型。具体来说，当对应的图像标记没有被掩码时，我们将对齐标签分配给未掩码的文本标记，否则分配一个未对齐的标签。它在transformer模型中联合学习图像文本和多模态表示，具备统一的MLM（掩码），MIM和WPA..这使得LayoutLMv3成为第一个不使用CNN做图像嵌入的多模态预训练文档模型，这大大减少了参数并且避免了区域注释。
【LayoutLLM】文档预训练模型+LLM ＞ MLLM
h661975的博客
05-10 856
提出 LayoutLLM ，使用 document pretrained models提出了三组不同层次的预训练任务：文档级、区域级和分段级，学习从全局到局部的文档布局。提出 LayoutCoT ，保证对于布局信息的充分使用。
【 LayoutLM】 LayoutLMv3---统一的文本和图像掩码来预训练文档 AI 的多模态 Transformer
h661975的博客
04-02 1602
从而缓解了这个问题。比较模型 #3 和模型 #2 的结果，MIM 目标有利于 CORD 和 RVL-CDIP。由于简单地使用线性图像嵌入改进了 FUNSD，因此 MIM 不会进一步对 FUNSD 做出贡献。通过在训练中结合 MIM 目标，在微调 PubLayNet 时损失会收敛，如图 4 所示，并且获得了理想的 mAP 分数。结果表明，MIM 可以帮助规范训练。因此，MIM 对于 PubLayNet 上的文档布局分析等视觉任务至关重要。
【论文笔记】LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
OneYearIsEnough的博客
05-29 3703
文档信息抽取模型LayoutLMv3
LayoutLMv3 ： 基于统一文本和带Masking图像的文档AI预训练【论文翻译】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
11-17 1202
LayoutLMv3 来为文档智能领域预训练多模态 Transformer 模型，重新设计了 LayoutLM 的模型架构和预训练目标。与文档智能领域现有的多模态模型不同，LayoutLMv3 不依赖于预训练的 CNN 或 Faster R-CNN 骨干来提取视觉特征，从而显著减少了参数数量并消除了区域注释的需求
LayoutLMv3阅读笔记
qq_48612666的博客
12-26 812
关于LayoutLMv3的个人学习笔记
unilm layoutlmv3 训练代码调试 SER 推理可视化
gjj19901005的博客
08-20 2178
unilm layoulmv3 训练代码调试 SER 推理可视化
layoutlm_CORD:在 CORD 数据集上评估 Layoutlm 模型
05-29
layoutlm_CORD 介绍 这个 repo 是 Layoutlm 模型的一个实现，参见 [1]，来自源代码（因为我没有设法让它与 Huggingface 实现一起工作： 并在 CORD 数据集上进行了基准测试，参见 [2]。 结果 我将预训练 LayoutLM 在 IIT-CDIP 数据集（大版本）上的性能与 Bert（大版本）进行了比较。 验证集 模型 F1_Score 精确 记起 布局LM大 0.9562 0.9577 0.9546 伯特大 0.9474 0.9466 0.9481 测试集 模型 F1_Score 精确 记起 布局LM大 0.9843 0.9845 0.9841 伯特大 0.9859 0.9861 0.9856 在验证集中，Layoutlm 的表现优于 Bert，但在测试集中却并非如此。 我需要做更多调查。 尽管如此，Bert 花了 11
layoutlmv3训练CDLA数据集
sexy19910923的博客
03-11 1315
利用layoutlmv3模型训练CDLA文档版面分析
微调LayoutLM v3进行票据数据的处理和内容识别
deephub
07-24 6011
在本文中，我们将在微软的最新Layoutlm V3上进行微调，并将其性能与Layoutlm V2模型进行比较。
LayoutLM、LayoutLMV2、LayoutXLM、LayoutLMV3
北落师门XY的博客
08-20 8543
微软一代LayoutLM 用途：表单理解、票据理解、文档图像分类。也就是进行实体识别及分类。 paper: https://github.com/microsoft/unilm/tree/master/layoutlm 简介： https://www.msra.cn/zh-cn/news/features/layoutlm code: https://github.com/microsoft/unilm/tree/master/layoutlm 注意：https://github.com/m
layoutlmV3使用步骤
weixin_44137397的博客
08-30 5190
layoutlmV3使用步骤
【layoutlmv3推理】无法识别的pdf使用ocr识别代码demo示例
懒惰是科技进步的原始动力
04-24 899
PDF识别为空时，OCR代码示例，模型layoutlmv3
多模态预训练模型指北——LayoutLM
Paper weekly
09-18 2002
©PaperWeekly 原创 ·作者 | 杨希单位 | 中国移动云能力中心研究方向 | 自然语言处理引子LayoutLM 从提出到现在已经有 2 年多的时间了，多模态的文档、表单类的识别任务也逐渐走向成熟，在上一期《多模态预训练模型指北——LayoutLM（一）》笔者详细介绍了微软提出的 LayoutLMv1 以及对应的升级版 LayoutLMv2。在此基础上，本期简单的介绍一下微软在 202...
Layout系列模型（LayoutLM,LayoutLMv2,LayoutXLM）
十里清风
05-29 6282
Layout LM 联合建模文档的layout信息和text信息，预训练文档理解模型。 模型架构 使用BERT作为backbone，加入2-D绝对位置信息，图像信息，分别捕获token在文档中的相对位置以及字体、文字方向、颜色等视觉信息。 2-D Position Embedding. 将文档页面视为坐标系统（左上为原点）， 使用2张embedding table构造4种位置嵌入，横纵轴各使用1张嵌入表； Image Embedding. 将文档页面图像分割成小图片序列，基于Faster R-CNN建
机器学习框架的使用 使用LLM模型示例
08-31
LLM (Local Linear Mapping) 是一种基于局部线性映射的机器学习模型，适用于高维数据降维和特征提取。下面以 Python 语言为例，介绍如何使用 LLM 模型进行数据降维。 首先，我们需要导入相关的库和数据集： ```python import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from LLM import LLM data = load_iris() X = data.data y = data.target ``` 接着，我们对数据进行标准化处理： ```python scaler = StandardScaler() X_std = scaler.fit_transform(X) ``` 然后，我们可以使用 PCA 对数据进行降维作为对比： ```python pca = PCA(n_components=2) X_pca = pca.fit_transform(X_std) ``` 最后，我们使用 LLM 进行数据降维： ```python llm = LLM(n_components=2, n_neighbors=10) X_llm = llm.fit_transform(X_std) ``` 通过比较 PCA 和 LLM 的结果，可以发现 LLM 通常能够更好地保留数据的局部结构，从而更好地进行降维和特征提取。 需要注意的是，LLM 模型需要手动下载和安装，可以从官方网站（https://research.cs.queensu.ca/~jstewart/llm/）获取源代码和使用说明。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值