华东师大：LLM多模态数学评估基准CMM-Math

📖标题：CMM-Math: A Chinese Multimodal Math Dataset To Evaluate and Enhance the Mathematics Reasoning of Large Multimodal Models
🌐来源：arXiv, 2409.02834

摘要

🔸大语言模型（LLMs）在数学推理方面取得了可喜的成果，数学推理是人类智能的一项基本技能。之前的大多数研究都集中在基于文本数学推理数据集（如math、GSM8K）改进和衡量LLM的性能上。最近，一些研究人员发布了英语多模态数学数据集（如MATHVISTA和math-V）来评估大型多模态模型（LMM）的有效性。
🔸本文中，我们发布了一个中国多模态数学（CMM-math）数据集，包括基准和训练部分，以评估和增强LMM的数学推理。CMMMath包含28000多个高质量的样本，具有各种问题类型（如多项选择、填空等），并在中国从小学到高中的12个年级提供了详细的解决方案。具体来说，问题或意见中可能存在视觉背景，这使得该数据集更具挑战性。
🔸通过综合分析，我们发现CMM Math数据集上最先进的LMM面临挑战，强调了进一步改进LMM开发的必要性。我们还提出了一种多模态数学LMM（Mat