国科大联合旷视提出OneChart,一个能为自己负责的图表解析模型

19984553ae2656adb5b357544b9d7372.gif

《论语》中说:“知之为知之,不知为不知,是知也”。从神经网络兴起以来,人们就没有停止过对这种黑盒模型应用在生产环境的担心。在 AI 1.0 中大部分模型还至少会输出一个置信度得分可供参考;然而对于 AI 2.0 时代的 VLMs 来说,所有的结果以文本的形式吐出,这加重了人们对模型安全性的焦虑。让模型知道自己的能力边界,不要产生致命错误,这点十分必要,也是目前的难点。

图表(柱状图,折线图,饼图)的信息结构化提取(SE)是对模型可靠性要求极高的任务之一,同时也是 VLM 难解的问题之一。下面是目前领先的一些 VLM 模型(GPT-4V、最新发布的 Reka Core、Gemini 1.5 Pro 以及国产的 Qwen-VL-Max)在图表解析上任务的表现。

32aa5f344189b720e4e5349aca0b2560.png

705bce33af0db1982be681bd7e88b498.png

经测试(所使用的 Chart 图片均为虚拟图片,不代表任何实际意义),目前这些模型对于 chart 正确理解还有所欠缺,特别是 chart 中的数值不能通过调用 OCR 简单获取的时候。

为此所提出的 OneChart 选取图表 SE 这一任务,展示了一种简单有效的方法。仅通过一个辅助 token 和对应的辅助 decoder 设计,不仅增强了模型的特定能力,还能在推理时对模型的文本输出给出一个可靠性检查

文章所提的 OneChart 参数量仅 0.2B,但在 SE 任务中可以大幅领先目前的 1.3B~13B 模型。OneChart 还可以作为一种 Chart-Agent 来帮助现有的 LLM 或 VLM 更好的完成下游 QA 任务,例如 LLaVA1.6+OneChart 可以在 ChartQA 数据集上涨点 11.2。

26b8434feb01f6869807312aba9573dc.png

论文题目:

OneChart: Purify the Chart Structural Extraction via One Auxiliary Token

论文地址:

http://arxiv.org/abs/2404.09987

代码地址:

https://github.com/LingyvKong/OneChart

项目主页:

https://onechartt.github.io/

02f0c19332b5d0039f922081675844bf.png

任务和方法介绍

Chart 理解和推理能力是目前 VLM 研究中的重点之一。作者认为目前用 VLM 进行 Chart 解析有两部分需要改进:一是需要充分训练一个真正会看 chart 的 vision encoder;二是在 SE 任务中单纯对文本输出算交叉熵损失不是最优的,比如当 gt 是 7008 时,模型输出 70.8 和 7007 损失是一样的,但显然 7007 是相对可以接受的误差,特别是当 chart 图片中没有明确的数值标注的时候。

如图 1,Onechart 的做法是引入了一个辅助 decoder,并设计 L1 loss 来进行监督。

c56e302182bc7bd73c625838cb3c3195.png

OneChart 的模型结构如下图,主要包括 vision encoder、OPT-125M、Auxiliary decoder 三部分。Auxiliary decoder 由 3 层 MLP 组成,以 Auxiliary token <Chart> 的 embedding 作为输入,输出 min-max 归一化后的 chart 数值结果。数值结果部分会计算 L1 loss,文本部分计算 cross-entropy loss,总 loss 是二者相加。

训练分 3 个阶段,第一阶段 pretrain VLM,第二阶段 warm-up auxiliary decoder,第 3 阶段合起来做一次 finetune。由于 Autoregressive model 中的 attention 是 casual 的,Auxiliary token 中的信息可以被后面的 token 隐式的利用,进而增强文本预测中的精度,所以推理时可以选择丢弃辅助 decoder,简单地采用语言模型的输出。

当然,在推理时也可以选择不丢弃辅助 decoder,而是用辅助 decoder 输出的结果和语言模型输出的结果进行可靠性校验:将语言模型输出结果中的数值 min-max 归一化后,与辅助 decoder 输出的结果计算 L1 距离。通过设置阈值判断模型输出的可靠性。更多的技术细节,请查看 OneChart 的论文。

1a8e74498591e0f17cad9fd67b25948c.png

297715641c686435ef7047d89a5e1b6a.png

性能展示

OneChart 提取图表信息的量化性能得分如下,其中 Structural Extraction 任务衡量的是模型提取 chart 主体部分 entity 和对应数值的准确性。可以看到 OneChart 的 AP@strict 显著优于其他模型,整体性能也是 SOTA 水平。

0352fe22369046ac8e1445beaaa74dd3.png

下面这个表格展示的是推理时采用可靠性校验筛选出的 purified 预测和原始所有预测的性能 AP 对比。可以看出可靠性校验的筛选能力是显著的。

57f3eb5da56af085e68ffe4ae95fa397.png

模型推理效果如下:

09d9c8b79b558bb06b8481592b017fb7.png

e42c9f692b2f8fcb63637962707cd80e.png

d2f7223843c3003cbb635b7e046e89e6.png

50684e1006ca0de33b51aa1aed8ecfda.png

作者还进行了 LLM 或 VLM 结合 OneChart 在 ChartQA 上的性能测试,可以看到 OneChart 输出可以让 LLaVA1.5 涨点 32.6,让 LLaVA1.6 涨点 11.2。这表明准确的感知是推理的基石,而现有的 VLMs 在 chart 感知上尚存在提升空间,OneChart 可以作为工具被 LLM/VLMs 调用来增强其在 chart 上的能力。

77e185260f262776211f44997363f5f0.png

更多阅读

4b1f67b3411d35f0c5a9a9f075081db1.png

757240ba4e4e9f54553808cb14c03809.png

a343ecf86e55e56cabb8df318b8117e9.png

f437d8ebaeb9951e727dffd3480ec030.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

0daa0b56041013d8c6c0a3c7fcb01052.png

△长按添加PaperWeekly小编

🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·

b453ac62b0bbb64923b9b2ed61a1631e.jpeg

  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值