【AI大模型评测】基准测试

基准测试的背景介绍

1. MMLU (Massive Multitask Language Understanding): MMLU 是一个用于评估人工智能在大规模多任务语言理解方面的能力的基准测试。它通常包含多种不同的语言任务，如文本分类、问答、摘要生成等，旨在全面考察模型在理解自然语言方面的广泛适用性和准确性。

2. MATH: MATH 数据集是一个专门设计来衡量人工智能解决数学问题能力的基准。它包含了各种数学问题，从基础算术到更高级的数学概念，用以测试模型是否能够正确理解数学问题并给出准确的解答。

3. GPQA (Grade School Physics Question Answering): GPQA 是一个研究生级别的Google验证问答基准测试，旨在评估模型对于生物学、物理学和化学等学科领域的深入理解。该数据集包含448个多项选择题，这些问题的难度极高，以至于即使是追求或持有博士学位的专家，其正确率也仅为65%，而非专家的准确率更是低至34%，即便他们可以无限制地使用网络资源。

4. DROP (Discrete Reasoning over Paragraphs): DROP 是一个阅读理解基准测试，要求模型对给定的段落进行离散推理。这种类型的任务通常涉及到理解文本中的逻辑关系、因果关系等，并需要模型在有限的信息中做出推断和决策。

5. MGSM (Multi-Language Grade School Math): MGSM 是一个多语言小学数学数据基准测试，旨在评估人工智能在处理不同语言背景下的小学数学问题方面的能力。这个基准测试强调了模型在跨语言数学问题解决和理解方面的性能。

6. HumanEval: HumanEval 是一种评估工具，专门用来评估在代码上训练的大型语言模型的性能。它通过模拟人类对模型生成的代码进行评估的过程，来衡量模型在编程任务上的有效性和实用性。

7. MMMU (Massive Multitask Multimodal Understanding): MMMU 是一个专家级别的人工智能评估基准，它涉及大规模、多学科、多模式的理解和推理任务。这个基准测试旨在全面考察模型在处理和理解多种类型数据（如文本、图像、声音等）方面的综合能力。

来源：OpenAI终于出手，GPT-4 Turbo重回第一！ChatGPT已更新！ (qq.com)

MMMU介绍

【多模态LLM】MMMU：面向专家通用人工智能的大规模跨学科多模态理解和推理基准 - 知乎 (zhihu.com)

• 精心收集了来自大学考试、测验和教科书的11.5K个多模态问题
• 跨越艺术与设计、商业、科学、健康医学、人文社会科学、技术工程等30个学科和183个子领域
• 包含30种异构的图像类型，如图表、图示、地图、表格、乐谱和化学结构式
• 关注特定领域知识的高级感知和推理

评估了14个开源模型和GPT4-Vision的结果和启示:

• MMMU基准对现有大语言模型是一个巨大的挑战:#GPT4V的准确率只有56%，显示了言语模型进一步发展的广阔前景
• 开源语言模型还有很长的路要走。如BLIP2-FLAN-T5-XXL和 LLaVA-1.5的准确率只有34%左右
• MMMU中加入OCR和图像字幕对语言模型帮助很小，突出了更深层次的图像文本联合理解的需要
• 模型在照片和绘画上的表现优于图表和表格，后两者包含了更细微和复杂的视觉信息
• 对GPT-4V的150个错误案例分析显示，35%的错误源自感知，29%是由于知识不足，26%则是推理过程的缺陷

关键点提炼

• 背景
  • AGI通常被用来描述在多数任务上与人类匹敌或超过人类的AI系统。由于缺乏可操作的共享定义，关于AGI的坦诚和建设性的讨论一直具有挑战性
  • Morris等人提出了一个分级的AGI分类法，该分类法围绕广度(或广泛性)和深度(或性能)。在所建议的分类法中，第3级或专家AGI(Expert AGI)标志着一个关键的里程碑
  • 如何为测量专家AGI创建基准？由于定义是基于与熟练成人的比较
    • 自然的起点是不同学科的大学考试，因为这些考试是为评估各个学科中熟练的成人而设计的。这种策略已经在MMLU 和AGIEval 等基准中获得成功应用
    • MMLU等，但仅考虑基于文本的问题，而人类专家能解决多模态问题。
    • 大多数现有的多模态基准测试更关注常识/日常知识，而不是专家级领域知识和高级推理。
  • 策略：
    • 广度目标：一个面向大学级别的多学科多模态理解和推理的全面基准测试。它以来自大学考试、测验和教科书的问题，跨越六个常见学科：艺术与设计、商业、科学、健康医学、人文社会科学和技术工程。由11.5K个精心挑选的多模态问题组成，涵盖了30个不同的学科和183个子领域，
    • 深度目标：MMMU中的许多问题需要专家级推理，例如应用“傅立叶变换”或“平衡理论”来推导解决方案

论文：2311.16502 (arxiv.org)