GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

本文是LLM系列文章，针对《GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI》的翻译。

摘要

大型视觉语言模型（LVLM）能够处理各种数据类型，如成像、文本和生理信号，并可应用于各个领域。在医疗领域，LVLM具有很高的潜力为诊断和治疗提供实质性的帮助。在此之前，制定基准来评估LVLM在各种医疗应用中的有效性至关重要。当前的基准通常建立在特定的学术文献之上，主要关注单一领域，缺乏不同的感知粒度。因此，他们面临着具体的挑战，包括有限的临床相关性、不完整的评估以及对交互式LVLM的指导不足。为了解决这些局限性，我们开发了GMAI MMBench，这是迄今为止最全面的通用医疗AI基准，具有分类良好的数据结构和多感知粒度。它以视觉问答（VQA）格式由39种医学图像模态、18项临床相关任务、18个科室和4种感知粒度的285个数据集构建而成。此外，我们实现了一个词汇树结构，允许用户自定义评估任务，满足各种评估需求，并为医学人工智能研究和应用提供实质性支持。我们评估了50个LVLM，结果表明，即使是先进的GPT-4o也只能达到52%的准确率，这表明还有很大的改进空间。此外，我们确定了当前尖端LVLM中需要解决的五个关键不足&#x