NUS：多模态大模型评估基准General-Bench

📖标题：On Path to Multimodal Generalist: General-Level and General-Bench
🌐来源：arXiv, 2505.04620

🌟摘要

🔸在基于语言的LLM的高级功能的推动下，多模态大型语言模型（MLLM）目前正在经历快速增长。与他们的专业前辈不同，现有的MLLM正在向多模态广义范式发展。最初仅限于理解多种模态，这些模型已经发展到不仅理解而且跨模态生成。它们的能力已经从粗粒度扩展到细粒度多模态理解，从支持单一模态扩展到适应各种甚至任意模态。为了评估各种MLLM的能力，已经提出了一系列不同的基准测试集。这就引出了一个关键问题：我们能否简单地假设，跨任务的更高性能表明MLLM能力更强，使我们更接近人类水平的人工智能？
🔸我们认为，答案并不像看起来那么简单。在这个项目中，我们引入了一个评估框架来描述当前多模态通才的能力和行为。该框架名为General-Level，建立了MLLM性能和通用性的5个级别，提供了一种方法来比较MLLM，并衡量现有系统向更强大的多模式通才以及最终向AGI（通用人工智能）发展的进展。我们框架的核心是使用协同作用作为评估标准，根据MLLM是否在理解和生成以及多模式交互中保持协同作用来对能力进行分类。
🔸为了评估各种通才的综合能力，我们提出了一个大规模的多模式基准，General Bench，它涵盖了更广泛的技能、模式、格式和能力，包括700多项任务和325800个实例。涉及100多个现有最先进MLLM的评估结果揭示了通才的能力排名，突显了实现真正人工智能的挑战。我们预计该项目将为下一代多模态基础模型的未来研究铺平道路，为加速实现AGI提供强大的基础设施。项目地址为https://generalist.top

🛎️文章简介

🔸研究问题：现有多模态大语言模型（MLLMs）评估基准存在不足，如何构建一个有效的基准来评估多模态智能和任务协同能力？
🔸主要贡献：论文提出了一个新的评估框架General-Level和一个大规模的多模态评估基准General-Bench，以全面评估多模态通用模型的能力。

📝重点思路

🔸论文首先分析了现有评估基准的局限性，包括对多模态理解的简化评估和对任务多样性的忽视。
🔸提出了一个五级的多模态通用模型分类体系（General-Level），根据模型在任务和模态之间的协同能力进行评估。
🔸设计了General-Bench数据集，涵盖多种模态（图像、视频、音频、3D、语言等）和任务类型，旨在提供更全面的评估。
🔸通过对超过100种现有MLLM的评估，分析其能力和排名，揭示当前模型的局限性。

🔎分析总结

🔸实验结果显示，大多数现有MLLM在跨任务或跨模态的协同能力上存在显著不足，甚至在先进模型中也未能达到理想的通用性。
🔸论文发现，现有MLLM通常只关注基础的多模态任务，支持更复杂任务的模型较少。
🔸评估结果还表明，尽管现有模型在单独模态任务上表现优异，但在多模态任务的整体能力上仍显不足。
🔸研究指出，当前多模态模型未能有效利用不同模态之间的互补性来增强语言理解能力。

💡个人观点

论文的核心是提出了多模态通用模型分类体系，强调模型在不同模态和任务之间的协同能力。

🧩附录