[论文阅读] ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning

于 2024-09-28 20:02:55 发布
阅读量403 收藏 13
点赞数 9
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/moment8aVry/article/details/142613241
版权

原文链接：http://arxiv.org/abs/2403.09028

源码链接：https://github.com/vis-nlp/ChartInstruct

启发：本文构建的instruction-tuning数据集以及使用该数据集对模型进行微调的过程都值得学习。 

Abstract

研究对象：图表

研究问题：微调视觉语言模型以更好的解决图表问答和摘要任务

研究方法：引入了 ChartInstruct：一种新颖的图表特定视觉语言教学跟踪数据集，由 191K 条指令和 71K 图表生成。然后，我们提出了两个不同的系统，用于对此类数据集进行指令调整：（1） 一个端到端模型，将用于图表理解的视觉编码器与 LLM 连接起来;（2） 采用两步方法提取图表数据表并将其输入到 LLM 中的管道模型。

优势：在四个下游任务的实验中，我们的模型获得最先进的结果。进一步的评估表明，我们的指令调优方法支持各种真实世界的图表理解和推理场景，从而将模型的范围和适用性扩展到新的任务类型。

1 Introduction

        早期工作试图通过微调最初在语言和视觉任务上训练的模型来解决图表相关任务。但是，此类模型可能不是特定于图表的任务的最佳选择，因为它们忽略了图表结构的显式建模，例如图表元素（如条形、图例和轴）之间的关系。最近的模型，如 UniChart（Masry 等人，2023 年）、Chart-T5（周 等人，2023 年）和 MatCha（Liu 等人，2022b）是专门为图表设计的，考虑了图表元素和值的视觉和数学推理。但是，他们通常局限于有限来源的图表，并专注于少数特定的任务，这限制了它们在现实世界中的适用性。事实上，在现实世界广泛的应用中，我们无法确定这些模型能适应哪些应用。

（不少论文都说MatCha等模型局限于有限来源的图表数据集，但是论文真的解决了这个问题吗？难不成真有无限的数据集？另外，这些论文提到泛用性问题，可是论文本身依旧局限于QA和摘要生成，并没能解决更多的问题，这篇论文有改进吗？）

        一个有效解决方案是指令调优（instruction tuning），相关文章有：

  • Training language models to follow instructions with human feedback
  • Scaling instruction-finetuned language models
  • Alpaca: A Strong, Replicable Instruction-Following Model
  • Vicuna: An opensource chatbot impressing gpt-4 with 90%* chatgpt quality
  • Llama: Open and efficient foundation language models

        这些论文表明在instruction-following数据集（包含图表图像以及问答对，不过标注的答案会包含推理过程，从而让模型在训练时能学习正确的推理步骤）上训练LLM能够更好的理解用户意图。然而，图表理解和推理的指令调整仍未得到充分探索，现有方法的instruction-tuning任务缺乏多样性，限制了它们在实际图表理解场景的有效性。

        在本文中，我们介绍了图表指令调优 （Chart Instruction Tuning），为构建基于 VLM 的通用图表理解和推理助手铺平了道路。为此，我们开发了一个新的图表指令调整数据集，其中包含从 157 个在线平台收集的真实世界图表，涵盖了广泛多样的视觉风格。利用 GPT-3.5（OpenAI-Blog，2022 年）、GPT-4（OpenAI，2023 年）和 Gemini（Team et al.，2023 年）等高级 LLM，我们生成了 191K 条指令，涵盖反映真实世界应用的广泛任务（图 1）。

（或许从157个渠道收集的图表可以称作unlimited range of sources，但是下图所示的9种任务类型实在难以称作“涵盖广泛任务”，因为其中部分任务本质并没有区别，这些问题在作者之前的文章UniChart中已经有体现，ChartLlama涵盖范围更广）

         我们设计了两种系统：（1）端到端系统，修改Llava架构，使用Unichart的视觉编码器替换Llava本身的CLIP编码器。（2）两步式方法，先图表结构分析，从图表中提取原始数据表，然后将表格和question作为LLM的输入，得到answer。

        通过四个基准进行综合评估：ChartQA、Chart2Text、OpenCQA、ChartFC。并且进一步采取了人工评估。

        我们的主要贡献包括：（i） 利用 LLM 构建了一个新的带有真实世界图表和广泛任务的指令跟踪语料库，（ii） 两个专门为图表理解任务量身定制的不同系统;（iii） 广泛的评估，展示了 ChartInstruct 在现有图表相关基准任务中的最新性能，同时也将其适用性扩展到新任务。

2 Related Work

2.1 Chart Modeling

2.2 Visual Instruction Tuning

2.3 Chart Domain Downstream Tasks

3 Chart Instruction Data Generation

3.1 Chart Corpora Collection

        图表图像来源有两个：已有的公共数据集和Web爬取图表。公共数据集选择了UniChart论文数据集，该数据集包含611K图表，不过这个数据集的数据来源较为受限。所以我们构建了WebCharts，包含41K图表，这个数据集从各个网站根据关键词检索图表图像并抓取，然后进行筛选，由于这些图标缺少原始表格，所以我们使用Gemini Pro Vision自动提取表格与标题。

3.2 Instruction Data Generation

        图表指令数据集生成，包含190774条指令，对应70882张图表，涵盖图表理解和推理的各个方面。

（1）Tasks Selection

  • Summarization and QA：
  • Fact Checking：输入关于图表的一段描述文本，需要模型判断这段描述是否准确，并给出accept或者refute反馈以及解释。该任务可以让模型减少事实性错误，提高图表解释准确性。
  • Chain-of-thought (CoT) Reasoning：旨在增强模型执行复杂数学和视觉推理的能力，这也是目前许多模型有待改进的地方，本文设计了两种类型的问题：变量相关问题，涉及统计量计算等数学运算问题；变量无关问题，侧重数值检索、比较和逻辑分析。
  • Code Generation：生成可执行的 Python 脚本来回答用户问题。
  • Novel Tasks：让LLM生成新的图表相关任务，需要注意不能与上述任务重复，这在增强指令集的多样性方面起着至关重要的作用。

（2） Prompt Design

        要为不同的任务提供一定的指示，我们首先创建了一组提示符模板，每个模板包含：

  • 任务描述
  • 输入图表数据表，以及图表标题等元数据
  • 输出约束（如果有）
  • 输出格式。

（3） Input and Output Generation

        设计好prompt模板之后，利用GPT3.5 Turbo 和 GPT4为每个模板创建input-output实例，由于图表数量有限，我们为每个图表都会生成多种类型的任务实例。

3.3 Dataset Analysis

4 Modeling 

4.1 End-to-End System

        利用LLaVa架构，将其中的CLIP编码器替换成UniChart视觉编码器。对于语言解码器，本文研究了decoder-only（Llama2）和encoder-decoder（Flan-T5）两种类型的架构。在 Llama2 设置中，提取的视觉特征直接注入到语言解码器中，而在 Flan-T5 模型中，这些特征和指令首先由语言编码器处理，然后解码器生成文本。

        在微调时，先冻结视觉编码器和LLM部分，对adaptor进行微调。这是一个对齐阶段，将UniChart视觉编码器的视觉特征与LLM的输入嵌入空间对齐，从而使LLM能够准确解释图表图像，此阶段的两个特定任务是：从图表生成表格和汇总图表内容。对齐后，下一阶段是冻结视觉编码器，训练adaptor和LLM。

4.2 Pipeline System 

        在第一阶段，也就是图表转换成表格阶段，使用UniChart模型，该模型已被证明能够从图表图像生成高质量的数据表。第二阶段，使用Llama2和Flan-T5模型进行实验。

        与端到端方法不同的是，端到端方法传到LLM的是视觉特征，而此处传入LLM的是表格文本，所以不需要进行对齐，可以直接对LLM进行微调。

5 Experiments and Results

5.1 Experimental Setup 

5.2 Results and Findings

5.3 Human Evaluation on Chart Tasks

5.4 Error Analysis and Challenges 

Value Estimation and Comparison

当图表中的细节过于复杂或者过于简单时，会导致视觉元素与其相关值匹配、数值估算、基于视觉属性的比较遭遇困难。

Factual Errors

尽管我们的模型显示出改进的文本生成质量和更好的可用信息利用率，但它们仍然会产生图表未提及或事实不正确的陈述。

Numerical Reasoning

模型在某些数值推理任务上依旧不够可靠

（模型在指标上面有改进，但原本存在的问题依旧存在，只是有所优化，但并没有对问题作出根源性解决）

6 Conclusion 

        我们推出了 ChartInstruct，这是一个自动生成的图表相关指令数据集和两个指令系统，专为广泛的图表相关任务而设计。据我们所知，这是第一个指令调整数据集，它不仅包括预定义的任务，还包括 LLM 自动提取的许多新类型的任务。我们的模型在各种自动测量下为四个不同的下游任务设定了最先进的性能，而人工评估进一步证实了我们的方法在许多新任务上的有效性。我们相信我们的模型和指令调整数据集将成为未来研究的宝贵资源，并鼓励进一步探索图表理解和推理的独特问题领域。

零澪灵
关注
多模态之论文笔记BLIP，BLIP2，Instruct BLIP
pku_langzi的博客
05-18 3489
题目: BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation机构：salesforce research论文:任务: 视觉语言预训练特点: 联合视觉语言理解以及生成，web 文本数据bootstrapping方法: 模型侧设计了MED，数据侧用captioner以及filter进行文本的生成以及噪声过滤。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-20 880
​ LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读之Datasets数据集 目录 相关文章 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译 3 Datasets指令微调数据集 相关文章 LLMs：《Instruction T
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版/旧版》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-01 2281
​ LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻译与解读 目录 相关文章 《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读 ABSTRACT 1、INTRODUCTION 2、Chinese Llama 3、Chinese Alpaca 4、Parameter Effici
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-25 3543
​ LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 目录 相关论文 《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 Abstract 1、Introduction 2、Approach 3 Main results主要结果 4
LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-21 1144
​ LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读 目录 《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读 ABSTRACT 1、Introduction 2、Chinese Llama And Chinese Alpaca
论文阅读：CVPR2016 Paper list
热门推荐
一亩半分地
05-12 8万+
CVPR2016 accepted paper list
Finetuning vs. Prompting：大语言模型两种使用方式
周同学的博客
04-14 2047
Finetuning vs. Prompting：大语言模型两种使用方式
论文精读--GPT3
m0_73202283的博客
02-25 1646
最近的工作表明，通过在大量文本语料库上进行预训练，然后在特定任务上进行微调，在许多NLP任务和基准上取得了实质性的进展。虽然在体系结构中通常与任务无关，但这种方法仍然需要特定子任务的数千或数万个示例的微调数据集。相比之下，人类通常只需要几个例子或简单的指令就能完成一个新的语言任务——这是目前NLP系统在很大程度上仍然难以做到的。在这里，我们表明，扩展语言模型极大地提高了任务不可知的、少数镜头的性能，有时甚至达到了与先前最先进的微调方法的竞争力。
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.03.10-2024.03.15
小小帅
03-15 1803
因果推理通过捕捉变量之间的因果关系，在提高自然语言处理（NLP）模型的预测准确性、公平性、稳健性和可解释性方面显示出潜力。生成式大型语言模型（LLM）的出现极大地影响了各种 NLP 领域，尤其是通过其先进的推理能力。本调查侧重于从因果关系的角度评估和改进 LLM，主要涉及以下几个方面：了解和改进 LLM 的推理能力、解决 LLM 的公平性和安全性问题、用解释对 LLM 进行补充以及处理多模态问题。同时，LLMs 强大的推理能力反过来又能帮助因果关系的发现和因果效应的估计，从而为因果推理领域做出贡献。
FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS
06-13
- **Reading Comprehension**（阅读理解）：63.7 vs. 72.6 vs. 77.4 - **Closed-Book QA**（闭卷问答）：49.8 vs. 55.7 vs. 56.6 #### 六、总结 - 通过Instruction Tuning的方法，研究者成功提高了语言模型在Zero...
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
（十二：2020.08.28）CVPR 2016 追踪之论文纲要（译）
Jojo论文基地
08-28 4683
CVPR 2016 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这643篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-22
09-22 1500
大型语言模型（LLMs）最近作为解决具有动作和观测不确定性的机器人任务的有前途的工具出现。基于LLM的决策方法（也称为LLM代理）与适当的批评者配对，已显示出在解决复杂、长期任务方面的潜力，且交互次数相对较少。计算机前沿技术，人工智能算法，大语言模型，LLM，提示词，最新论文阅读，黑神话，悟空
论文笔记——Graph Bottlenecked Social Recommendation
保持学习
09-27 702
论文精度及其代码复现——Graph Bottlenecked Social Recommendation
【Anti-UAV410】论文阅读
weixin_45074568的博客
09-25 974
比较结果见表II。值得注意的是，Anti-UAV 410数据集显示了很大比例的小目标，其中超过一半的目标的尺寸小于50像素，甚至包括一定比例的微小目标（尺寸小于10像素），这些微小目标被其他数据集（如VOT-TIR 2015 [35]、VOT-TIR 2016 [5]、PTB-TIR [26]和LSOTB [6]）遗漏。反无人机数据集[2]是一个多模态数据集，包括318个视频对。该数据集旨在解决不同模式下反无人机跟踪的挑战，例如基于视觉的跟踪器可能表现不佳的低光条件。
GS-SLAM论文阅读笔记--GLC-SLAM
qq_45795134的博客
09-23 1048
现有的基于3dgs的SLAM方法往往存在累积的跟踪误差和地图漂移，特别是在大规模环境中。Photo-SLAM结合了基于ORB-SLAM的闭环，但其对基于特征的跟踪器的依赖限制了闭环的有效性，因为跟踪器无法利用地图的细化。基于nerf的SLAM方法集成了在线闭环来实现准确和鲁棒的跟踪，但需要存储历史帧和昂贵的重新训练整个隐式建图来更新回环矫正。
9、论文阅读：无监督的感知驱动深水下图像增强
最新发布
DQHNB的博客
09-27 549
当前的 UIE 算法主要通过最小化增强图像和地面真实图像之间的重建损失，在合成数据集或具有伪标签的数据集上训练深度神经网络（DNN）。但是，合成和真实的水下图像有差距，在合成图像上训练的网络在真实环境下不一定有好的表现。并且使用L1和L2损失函数，往往忽视人类感知的重要性，（L1和L2损失只关注像素级别的差异，没有考虑人类视觉系统的感知特性。人类的眼睛对边缘和纹理的变化敏感，但是对颜色变化相对不敏感。为此，可以使用感知损失或者风格迁移损失 ​），导致增强的图片不尽人意。因此，本论文提出了一个。
论文阅读《Co-clustering for Federated Recommender System》
wzj1212123的博客
09-26 931
第二个创新点凑数用的，典中典利用服务器的聚类信息给客户端作对比学习，重点在于提出以往聚类的不足以及新型聚类方法。
介绍以下几个步骤：pretrain → supervised tuning → instruction tuning → alignment。
04-03
1. Pretrain（预训练）：在这一步骤中，模型需要通过大量的无监督数据来进行预训练，以便模型能够学习到有意义的特征和表示。预训练可以帮助模型更好地理解输入数据，并且有助于避免过拟合问题。 2. Supervised tuning（有监督调整）：在这一步骤中，模型需要通过有标注的数据来进行有监督调整，以便能够更好地适应任务的要求。有监督调整可以帮助模型更好地理解任务的目标，并且能够使模型对于特定任务的性能得到提升。 3. Instruction tuning（指导调整）：在这一步骤中，模型需要通过人工指导来进行调整，以便能够更好地适应特定应用场景的需求。指导调整可以帮助模型更好地理解特定场景下的语言和语境，并且能够使模型的性能得到进一步提升。 4. Alignment（对齐）：在这一步骤中，模型需要通过对齐不同语言之间的语言对来进行训练，以便能够更好地进行跨语言翻译。对齐可以帮助模型学习到不同语言之间的相似性和差异性，并且能够使模型在跨语言任务中的性能得到提升。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值