【数据集】最近开源的一些多模态图表理解数据集

1. CharXiv

现有数据集通常关注过于简化和同质化的图表，并且问题往往基于模板生成，这导致了对MLLMs图表理解能力的过度乐观评估。为了解决这个问题，作者提出了一个新的评估套件CharXiv，它包含了从arXiv论文中精选的2323个自然、具有挑战性和多样性的图表，并设计了两种类型的问题：描述性问题和推理问题，以全面评估MLLMs在图表理解方面的能力。

• paper：Charting Gaps in Realistic Chart Understanding in Multimodal LLMs
• link：https://arxiv.org/abs/2406.18521
• dataset：https://huggingface.co/datasets/princeton-nlp/CharXiv

2. OneChart

数据集类型：图表结构提取、图表推理

• paper：OneChart: Purify the Chart Structural Extraction via One Auxiliary Token
• link：https://arxiv.org/abs/2404.09987
• dataset：https://github.com/LingyvKong/OneChart

3. ChartLlama

• paper：ChartLlama: A Multimodal LLM for Chart Understanding and Generation
• link：https://arxiv.org/pdf/2311.16483
• dataset：https://huggingface.co/datasets/listen2you002/ChartLlama-Dataset

4. ChartX

• ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning
• link：https://arxiv.org/pdf/2402.12185
• dataset：https://github.com/UniModal4Reasoning/ChartVLM