【多模态】一次多模态大模型表格识别解析探索小实践记录

最新推荐文章于 2025-02-15 14:56:36 发布
最新推荐文章于 2025-02-15 14:56:36 发布
阅读量1.2k 收藏 2
点赞数 27
分类专栏： 文档智能 自然语言处理 多模态 文章标签： 文档解析 多模态 LLM 表格识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjh_SE007/article/details/142885088
版权

表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。
《【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路》，

前期文章也介绍了传统视觉的方法进行表格结构识别的方法，【文档智能】轻量级级表格识别算法模型-SLANet

关于表格识别在这里就不做过多的介绍了。

国庆期间，笔者利用一个较长的时间段，训练了一个多模态的表格识别模型，效果还不错，特此记录一下多模态的效果。

  • 训练资源：H100*8
  • 训练数据：200w table image - table html对（html的表示表格的优势，可以准确表示一些复杂表格，如合并单元格等，这点是mardown格式无法做到的。）
  • 模型参数量：7B
  • 自建测评数据TEDS：0.97~0.98

小总结：

  1. 训练数据质量大于一切，含大量数据的超长文本表格目前还不能准确识别，因为笔者训练的是max-length=8192。

  2. 模型参数量目前较大，推理速度比较慢。

效果记录：
下面的一些case来源于网络的表格截图。

case1

case2

case3

case4

case5

case6

case7

大模型——InternVL开源多模态大模型，支持图像、视频和文本处理
04-23 37
InternVL 是由上海人工智能实验室（OpenGVLab）开发的一个开源多模态大模型项目，托管在 GitHub 上。它集成了视觉和语言处理能力，支持图像、视频和文本的综合理解与生成。InternVL 的目标是打造一个媲美商业模型（如 GPT-4o）的开源替代品，广泛应用于视觉感知、跨模态检索和多模态对话等任务。该项目以其强大的视觉编码器、动态高分辨率支持和高效训练策略著称，模型规模从 1B 到 78B 参数不等，适合从边缘设备到高性能服务器的多种应用场景。
多模态大模型联合训练机制解析：图文音一体 × 架构融合 × 工程实战
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-09 1067
多模态已成为大模型演进的主战场，但联合训练远比想象复杂。本篇深入讲解多模态模型如何实现语义对齐、架构融合与协同训练机制，配合真实工程实现路径，带你掌握图文音一体的智能体基础能力构建方法。
多模态图像表格表示学习 -- 创新自监督方法解决数据缺失问题
2401_84204413的博客
11-24 2121
图像-表格表示学习受到越来越多的关注，但由于表格数据通常具有异构性和不完整性，并且与图像存在显著的模态差异，这仍然是一项具有挑战性的任务。以往的工作主要研究完整数据场景中的简单模态融合策略，而未考虑数据缺失问题，因此在实践中受到限制。文中提出一个新颖的图像-表格预训练框架（TIP），用于学习对不完整表格数据具有鲁棒性的多模态表示。TIP 探索了一种新颖的自监督学习策略，包括表格掩码重建任务，图像-表格匹配和对比学习。
LLM中表格处理与多模态表格理解
AI从业者的专栏
06-17 2773
多模态表格处理是一种集成了视觉、文本和结构化数据等多种信息源的技术，旨在更全面地理解和解析表格内容。
构建多模态RAG系统的终极指南：如何实现文本、图像与数据的完美融合？
m0_59163425的博客
02-15 1193
多模态 RAG 系统集成了多种数据类型，以提供强大的信息检索和综合能力。传统的 RAG 系统主要处理文本数据，限制了其在需要多模态洞察的场景中的有效性。然而，多模态 RAG 系统能够检测、解析和处理各种数据形式——文本、图像、图表、表格，甚至可选的音频或视频——从而提供更丰富的查询理解。多模态 RAG 系统利用先进的模型，如 GPT-4o、GPT-4 Vision (GPT4-V) 和 LLaVA，高效地综合和检索信息。这些系统通过嵌入多模态能力来增强传统的基于文本的框架。
表格解析 概览
北落师门XY的博客
12-12 5755
表格解析发展至今，仍然是一项很年轻的研究领域，出现了大量解决方案，常用的技术包括：线检测、box检测、分割、多模态融合、GCN、img2seq。以下按我的理解梳理一下表格解析各个流派，从中了解这项任务背后所采用的技术。在实际生产中，往往需要根据场景定制化多个模型进行堆叠以达到预期效果。注意：以下的流派是按个人理解划分。
万字干货｜复杂表格多Agent方案：从LLM洞察、系统性思考到实践经验总结
2401_85375186的博客
11-14 1071
2022年11月，ChatGPT平地一声雷，开启了**“大模型+”时代，为整个AI软件市场带来了无限商机，据ARK Invest的首席未来学家Brett Winton预测，到2030年左右，AI软件市场的市场总值将达到13万亿美元（当前，全球IT支出为4+万亿美元），其中生成式AI的市场总值将达到1.3万亿美元左右，是2022年（400亿美元）的32+倍，而近期Gartner发布了2024中国基础设施战略技术成熟度曲线，清楚地表明，未来2-5年生成式AI依然处于期望膨胀期**，可见，其潜力之巨大。
Advanced RAG 07：在RAG系统中进行表格数据处理的新思路
Baihai_IDP的博客
05-15 2574
使用多模态 LLM （如 GPT-4V[14] 、LLaVA[15] 或 FUYU-8b[16]）从图像数据中生成文本摘要，然后将这些文本摘要嵌入向量化，利用这些嵌入向量，可以对图像摘要进行高效检索（retrieve），在检索到的每个图像摘要中，都保留有一个对应的原始图像的引用（reference to the raw image），这属于上文的 (i) 类方法，最后将未经处理的图像数据和文本块传递给多模态 LLM 以便生成答案。首先，使用（a）至（d）中的任何一种方法，将文档中的所有表格解析为图像形式。
人工智能-大模型-PDF解析（文字，章节，表格，图片，参考），基于大模型(ChatGLM2-6B, RWKV)+langchai
10-21
PDF解析（文字，章节，表格，图片，参考），基于大模型(ChatGLM2-6B, RWKV)+langchain+streamlit的PDF问答，摘要，信息抽取 介绍 实现对PDF解析，将给定的PDF结构化成以下几个部分。 文字 总标题，章节标题和章节...
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4283
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
计算机视觉与机器学习之文档解析与向量化技术加速多模态大模型训练与应用——文件向量化大模型！
python122_的博客
07-02 1453
在人工智能时代，多模态大模型的发展不仅仅是技术创新的产物，它更是对人类交互和信息处理方式的一种模拟。我们的世界是多模态的：我们不仅阅读文字，还观察图像，聆听声音，感受触觉。多模态大模型试图通过模拟这种丰富的信息处理方式来增强机器的理解能力。这些模型的核心优势在于它们的整合能力。传统的单模态系统在处理单一类型数据时可能表现出色，但它们无法捕捉跨模态的复杂关系。例如，一段视频内容不仅包含视觉元素，还可能包含重要的音频信息，甚至是文字信息（如字幕或场景中的文本）。
AIGC |「多模态模型」系列之OneChart：端到端图表理解信息提取模型
AIGCmagic的博客
05-19 1889
AI多模态在文档智能领域又一力作！
文档解析之表格结构预测获奖方案及开源数据集总结
yifangyun_360的博客
11-29 94
今天来看看表格结构预测，表格结构识别任务要求预测表格的行列信息和单元格的合并情况，同时确定每个单元格的坐标框。 最近在做这方面工作，看到一个表格结构预测竞赛，里面有些方案还是蛮有趣的，三个方案，其中有两个都采用有线表跟无线表路由、分而治之的思路。 而这些方案，很多都是依赖于数据，所以我们也来看看数据的问题，目前有哪些表格结构的数据可用。
测试glm4v-9b的识别表格能力
weixin_64634378的博客
06-30 470
1. 首先识别表格的标题和表头，这将帮助你理解数据的上下文和结构。2. 逐行分析表格数据，对于每个单元格，提供其内容的准确描述，并尽可能解释其意义以及与表头的关系。3、描述表格数据请说明数据单位。你是一名表格数据解析专家，擅长识别和描述各种类型的表格数据。你的任务是详细且清楚地描述表格中的所有信息，确保每个单元格的数据都被准确理解和表达。现在，请你描述图片中的表格数据。
TextIn文档解析表格处理模型优化，显著提升表格解析性能
INTSIG的博客
11-28 1236
近期，TextIn通用文档解析最新推出表格处理优化版本，本次优化主要改善了表格识别效果，以统一方案替代有线表格与无线表格分类处理方法，减少了级联损失，大幅度提升表格全对率。
AutoGluon包使用示例（表格、图像与多模态）
qq_20144897的博客
10-19 4376
AutoGluon包在表格数据、图像分类、多模态数据预测上的应用示例
【LLM多模态】多模态LLM在图表处理的应用
发现问题，并解决问题，批判性思维
05-26 1449
在真实场景下，我们进行测试，多模态大模型在处理显著文本时表现尚可，但在处理细粒度文本时往往效果并不太好，why? ​具体原因如下： 首先，视觉编码器的分辨率对于多模态大模型的性能影响较大，由于视觉信息往往包含大量的细节和复杂性，因此需要高分辨率的编码器来捕捉这些细节。但是，高分辨率编码器的计算成本也相应较高，这会限制模型的训练速度和效率。 其次，现有的模型主要依赖于大规模的预训练数据集进行训练，而这些数据集往往只包含一些大规模常规或者合成的图像和文本，比如论文arxiv。因此，这些模型可能无法很好地处
《Advanced RAG》-07-探索 RAG 中表格数据的处理方案
静愚AGI
08-05 2406
文章详细讨论了实现 Retrieval-Augmented Generation（RAG）时对表格进行处理的挑战，特别是在非结构化文档中自动准确地提取和理解表格信息。首先介绍了RAG中管理表格的关键技术，包括表格解析和索引结构设计。接着，文章回顾了一些现有的开源解决方案，如LlamaIndex和Langchain提出的方法。然后，文章提出了一种新的解决方案，使用Nougat模型进行表格解析，能够准确地提取表格和表格标题，并通过多向量检索器构建文档摘要索引结构，以便更有效地存储和检索表格的语义信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值