国科大联合旷视提出OneChart，一个能为自己负责的图表解析模型

最新推荐文章于 2024-08-30 09:49:56 发布

PaperWeekly

最新推荐文章于 2024-08-30 09:49:56 发布

阅读量473

点赞数 5

文章标签：人工智能

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/138296517

版权

研究人员提出了OneChart模型，旨在解决AI 2.0时代图表信息结构化提取的难题。OneChart通过引入辅助token和decoder，提高了模型在理解图表，特别是数值准确性方面的性能。该模型在Structural Extraction任务上的表现优于现有大模型，且在ChartQA任务中提升了LLM和VLM的性能。此外，OneChart的可靠性校验机制能筛选出更准确的预测结果。

摘要由CSDN通过智能技术生成

《论语》中说：“知之为知之，不知为不知，是知也”。从神经网络兴起以来，人们就没有停止过对这种黑盒模型应用在生产环境的担心。在 AI 1.0 中大部分模型还至少会输出一个置信度得分可供参考；然而对于 AI 2.0 时代的 VLMs 来说，所有的结果以文本的形式吐出，这加重了人们对模型安全性的焦虑。让模型知道自己的能力边界，不要产生致命错误，这点十分必要，也是目前的难点。

图表（柱状图，折线图，饼图）的信息结构化提取（SE）是对模型可靠性要求极高的任务之一，同时也是 VLM 难解的问题之一。下面是目前领先的一些 VLM 模型（GPT-4V、最新发布的 Reka Core、Gemini 1.5 Pro 以及国产的 Qwen-VL-Max）在图表解析上任务的表现。

经测试（所使用的 Chart 图片均为虚拟图片，不代表任何实际意义），目前这些模型对于 chart 正确理解还有所欠缺，特别是 chart 中的数值不能通过调用 OCR 简单获取的时候。

为此所提出的 OneChart 选取图表 SE 这一任务，展示了一种简单有效的方法。仅通过一个辅助 token 和对应的辅助 decoder 设计，不仅增强了模型的特定能力，还能在推理时对模型的文本输出给出一个可靠性检查。

文章所提的 OneChart 参数量仅 0.2B，但在 SE 任务中可以大幅领先目前的 1.3B～13B 模型。OneChart 还可以作为一种 Chart-Agent 来帮助现有的 LLM 或 VLM 更好的完成下游 QA 任务，例如 LLaVA1.6+OneChart 可以在 ChartQA 数据集上涨点 11.2。