Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Reference

本文是LLM系列文章，针对《Advancing Multimodal Large Language Models in Chart Question Answering with Visualization-Referenced Instruction Tuning》的翻译。

摘要

新兴的多模态大型语言模型 （MLLM） 在图表问答 （CQA） 方面表现出巨大的潜力。最近的工作主要集中在通过数据收集和合成来扩大训练数据集（即图表、数据表和问答 （QA） 对）。然而，我们对现有 MLLM 和 CQA 数据集的实证研究揭示了显着的差距。首先，当前的数据收集和合成侧重于数据量，缺乏对细粒度视觉编码和 QA 任务的考虑，导致数据分布不平衡，与实际 CQA 场景不同。其次，现有工作遵循最初为自然图像设计的基本 MLLM 的训练配方，探索对独特图表特征（如富文本元素）的适应。为了填补这一空白，我们提出了一种可视化参考指令调整方法来指导训练数据集的增强和模型开发。具体来说，我们提出了一种新的数据引擎，以有效地从现有数据集中过滤多样化和高质量的数据，然后使用基于 LLM 的生成技术来提炼和增强数据，以更好地与实际的 QA 任务和视觉编码保持一致。然后，为了促进对图表特征的适应，我们利用丰富的数据来训练 MLLM，方法是解冻视觉