DOCLLM: A LAYOUT-AWARE GENERATIVE LANGUAGE MODEL FOR MULTIMODAL DOCUMENT UNDERSTANDING

最新推荐文章于 2024-09-15 15:29:29 发布

UnknownBody

最新推荐文章于 2024-09-15 15:29:29 发布

阅读量424

点赞数 10

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/135948116

版权

LLM 日更专栏收录该内容

515 篇文章 3 订阅

已下架不支持订阅

本文提出DocLLM，这是一种轻量级的大型语言模型扩展，用于理解视觉文档，同时考虑文本语义和空间布局。DocLLM通过分解注意力机制并专注于边界框信息，有效地处理不规则布局和异构内容，无需昂贵的图像编码器。经过预训练和微调，DocLLM在多个文档智能任务中表现出优越性能。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《DOCLLM: A LAYOUT-AWARE GENERATIVE LANGUAGE MODEL
FOR MULTIMODAL DOCUMENT UNDERSTANDING》的翻译。

摘要

企业文档，如表单、发票、收据、报告、合同和其他类似记录，通常在文本和空间模式的交叉点上具有丰富的语义。它们复杂的布局所提供的视觉线索在有效理解这些文档方面发挥着至关重要的作用。在本文中，我们提出了DocLLM，这是对传统大型语言模型（LLM）的轻量级扩展，用于在视觉文档上进行推理，同时考虑了文本语义和空间布局。我们的模型与现有的多模态LLM的不同之处在于避免了昂贵的图像编码器，并专门关注边界框信息以结合空间布局结构。具体来说，通过将经典Transformer中的注意力机制分解为一组解纠缠矩阵，可以捕捉文本和空间模态之间的交叉对齐。此外，我们设计了一个预训练目标，学习填充文本片段。这种方法使我们能够解决视觉文档中经常遇到的不规则布局和异构内容。预训练的模型使用大规模指令数据集进行微调，涵盖四个核心文档智能任务。我们证明，在所有任务中，我们的解决方案在16个数据集中的14个数据集上都优于最先进的LLM，并很好地推广到5个以前未见过的数据集中的4个。