多模态统计图表综述：图表分类，图表理解，图表生成，图表大一统模型

已于 2023-12-09 11:28:27 修改
阅读量1.6k 收藏 19
点赞数 24
分类专栏： 多模态大模型 文章标签： 人工智能 深度学习 论文阅读
于 2023-12-07 20:57:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/134864883
版权
本文综述了多模态统计图表的理解与生成，涵盖图表分类、图表理解（如DVQA、PlotQA、ChartQA）以及图表大一统模型（如UniChart）。研究涉及图表VQA任务，通过真实世界数据集挑战视觉和逻辑推理，同时介绍了图表到文本的总结任务。
摘要由CSDN通过智能技术生成

Overview

多模态统计图表综述

一、图表分类

1.1 Survey

题目：A Survey and Approach to Chart Classification
机构：印度理工学院
什么是信息图形 (Infographic)？

An infographic is a collection of imagery, data visualizations like pie charts and bar graphs, and minimal text that gives an easy-to-understand overview of a topic. As in the example below, infographics use striking, engaging visuals to communicate information quickly and clearly.

1.2 常见分类数据集：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ChartLlama：多模态统计图表大模型
pku_langzi的博客
12-05 1489
图表类多模态大模型，主要创新点是利用GPT-4的强大能力，去构建图表数据，指令微调数据。7种任务，10种图表类型，11K插图，160K指令微调数据。
大模型应用——文档图像大模型的思考与探索
最新发布
01-07 4131
GPT4-V多模态大模型大幅度提升了AI技术在文档分析与识别领域的能力边界，端到端实现了文档的识别到理解的全过程。并且提供了一条研发新范式：“大数据、大算力、多任务、端到端。像篡改检测、文本分割擦除这样像素级的任务，GPT-4V大模型处理的并不好，虽然它在文档解析和识别领域的能力已经具备，但较之于SOTA方法来比较，性能还是有待提升。GPT-4V这样多模态大模型的强项在于信息抽取和理解认知层面，这一特点在经过有效利用后，可以大幅提升该研究领域的天花板。1.机遇与挑战。
ACL 2024 | 中科院等推出Table-LLaVA，多模态表格理解能力再创新SOTA
Paper weekly
08-02 1194
©PaperWeekly 原创 ·作者 |郑明钰单位 |中国科学院信息工程研究所研究方向 |表格理解和大语言模型动机表格理解技术旨在自动理解表格数据并完成相关下游任务，进而可以提高不同行业的工作效率。虽然近期基于大语言模型（Large Language Model，LLM）的表格理解方法取得了显著进展，但是它们都严重依赖于文本形式的表格表示，即表格必须提前转化为某种格式的文本序列（比如 H...
文档解析之表格结构预测获奖方案及开源数据集总结
yifangyun_360的博客
11-29 63
今天来看看表格结构预测，表格结构识别任务要求预测表格的行列信息和单元格的合并情况，同时确定每个单元格的坐标框。 最近在做这方面工作，看到一个表格结构预测竞赛，里面有些方案还是蛮有趣的，三个方案，其中有两个都采用有线表跟无线表路由、分而治之的思路。 而这些方案，很多都是依赖于数据，所以我们也来看看数据的问题，目前有哪些表格结构的数据可用。
【数据集】最近开源的一些多模态图表理解数据集
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
07-03 749
现有数据集通常关注过于简化和同质化的图表，并且问题往往基于模板生成，这导致了对MLLMs图表理解能力的过度乐观评估。为了解决这个问题，作者提出了一个新的评估套件CharXiv，它包含了从arXiv论文中精选的2323个自然、具有挑战性和多样性的图表，并设计了两种类型的问题：描述性问题和推理问题，以全面评估MLLMs在图表理解方面的能力。数据集类型：图表结构提取、图表推理。
多模态——旷视大模型Vary更细粒度的视觉感知实现文档级OCR或图表理解
知来者逆的博客
01-03 3359
现代大型视觉语言模型(LVLMs)具有相同的视觉词汇- CLIP，它可以涵盖大多数常见的视觉任务。然而，对于一些需要密集和细粒度视觉感知的特殊视觉任务，例如文档级OCR或图表理解，特别是在非英语场景下，clip风格的词汇表在视觉知识的标记化方面可能会遇到效率较低的问题，甚至会出现词汇外问题。
多模态图表理解新SOTA: TinyChart-3B，兼顾性能和效率
zenRRan的博客
05-08 392
作者：胡安文@知乎https://zhuanlan.zhihu.com/p/696540858EMNLP2024投稿群建立！作为一种重要的信息来源，图表（Chart）能够直观地展示数据关系，被广泛地应用于信息传播、商业预测和学术研究中 [1]。随着互联网数据的激增，自动化图表理解受到广泛关注，近期诸如GPT-4V、QwenVL-Max和Gemini-Ultra等通用闭源多模态大模型都展现出一定的图...
统计图模型
cjz0422的博客
12-19 93
统计图模型创建
【数据可视化艺术】：用EOF分析结果构建直观图表
[【数据可视化艺术】：用EOF分析结果构建直观图表](https://opengraph.githubassets.com/2777cc1f04b4a9058f9b16f670e34f875b95030287c39b39983a101e65de4afe/r-spatial/gstat) # 摘要 数据可视化作为传达信息和...
AI绘画模型之：CLIP 与 DALL-E 2
07-30 234
当我们了解了整个技术方案，可能会有这样的疑惑——因为CLIP的图像和文本表征是通过大量图像和文字的训练得到的，而训练的目标是使匹配的图像和文本表征尽可能接近，那么为什么还需要使用扩散先验模块呢？通过对比图表，你可以看到，用户输入一张图像，使用CLIP的图像编码器提取图像表示作为图像解码器的输入，从而实现了生成图像变体的能力。之前我们提到，扩散先验模型的作用是获得与CLIP图像编码器提取的图像表示类似的表示，而图像变体功能使用CLIP图像编码器提取图像表示，这两者是相似的。
第9章: 电商导购助手项目
AI天才研究院
09-28 1354
第9章: 电商导购助手项目 在本章中，我们将深入探讨如何开发一个智能电商导购助手系统。这个项目将综合运用人工智能、自然语言处理、知识图谱和推荐系统等技术，为用户提供个性化、智能化的购物体验。我们将从需求分析开始，逐步构建系统架构，实现核心功能模块，最终打造一个功能完善的电商导购助手。
多模态大模型总结
WhiteHat_Zhou的博客
11-18 664
和原生多模态模型意味着这些模型是从一开始的设计阶段，就是用于处理多种模态（包括文本、图像、音频、视频等）的数据。把不同的单个模型拼接起来使得模型具备多模态能力这种做法也比较好理解，比如之前社区开源的Qwen-VL，它就是 Qwen-7B + Openclip ViT-bigG（2.54B）的结构，前者作为LLM基础模型，后者作为视觉模型，因此Qwen-VL也支持图像、文本多模态输入。在数据融合方面，来自不同模态的数据在模型内部被有效地融合，这样可以更好地理解数据间的关联和相互作用。
多模态大语言模型对图表数据的理解能力评估
weixin_32771227的博客
08-04 165
虽然目前的MLLMs在科学图表解读方面取得了一定成果，但在处理自然图像与图表图像的数据差异时，尤其是在从图表中提取数值信息的能力上存在不足。为了克服这一挑战，研究团队通过三种策略优化了模型的图表理解能力：一是引入原始数据值进行预训练以增强对图表数据的理解；二是利用文本表示随机替代图像，在端到端微调过程中提升模型的语言推理到...
探秘ChartLlama：多模态大模型的图表理解和生成新境界
gitblog_00023的博客
06-11 1032
探秘ChartLlama：多模态大模型的图表理解和生成新境界 项目地址:https://gitcode.com/gh_mirrors/ch/ChartLlama-code 在数据可视化和信息交流日益重要的今天，理解并生成图表的能力成为了高效沟通的关键。为此，我们向您隆重推荐ChartLlama —— 一个专用于图表理解和生成的多模态大型语言模型。这款创新工具结合了先进的自然语言处理和图像识别技术，...
一分钟图表：简易统计图表模型设计与实现
三角室专栏
04-16 986
1. 目的 在系统后台，很多地方都需要以直观的方式呈现相关统计数据，然而总是从查询语句、接口、页面到图表的过程，繁琐费时。对于简单的统计需求，期望建立合适的模型，简化这个过程，并使得整个过程聚焦数据本身，快捷而简单，并为整个过程的配置化提供可能。 2. 图表要素 这里只讨论简单的统计需求。 要素一：标题 和 统计数据 要素二：图表类型（饼图、柱状图、线图） 3. 约定 统计数据的标签与值...
如何生成图表模型
weixin_42333933的博客
07-21 293
如何生成图表模型
文心问数Sugar Bot ：大模型+BI，多轮会话自动生成可视化图表与数据结论
Foolforuuu的博客
08-23 6020
Sugar BI 的文心问数功能是基于大语言模型实现的，支持您使用自然语言，通过多轮会话的方式，获取实时数据的图表展现，也可以自动为您总结与图表相关的业务结论。文心问数适用的场景有两个，分别是：场景1、文心问数页面，常用于业务最新情况的数据洞察。您可以在这个页面以问答的交互形式，向Sugar BI 提出业务问题，Sugar BI 将以图表的形式返回答案及业务结论。场景2、辅助您在报表/大屏的编辑页面进行页面编辑。
解密Prompt系列33. LLM之图表理解任务-多模态篇
Android23333的博客
08-06 848
上一章我们介绍了纯文本模态的表格理解任务，这一章我们聚焦多模态图表数据。先讨论下单纯使用prompt的情况下，图片和文字模态哪种表格模型理解的效果更好更好，再说下和表格相关的图表理解任务的微调方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值