本文是LLM系列文章,针对《Mementos: A Comprehensive Benchmark for Multimodal Large
Language Model Reasoning over Image Sequences》的翻译。
摘要
多模态大型语言模型(MLLMs)已经证明能够熟练处理各种视觉语言任务。然而,目前的MLLM基准主要用于评估基于单个图像的静态信息的推理,而现代MLLM从图像序列中推断的能力,这对理解我们不断变化的世界至关重要,但研究较少。为了应对这一挑战,本文介绍了Mementos,这是一种旨在评估MLLMs序列图像推理能力的新基准。Mementos以4761个不同长度的不同图像序列为特征。我们还使用GPT-4辅助的方法来评估MLLM的推理性能。通过仔细评估Mementos上最近的九种MLLMs,包括GPT4V和Gemini,我们发现它们很难准确描述给定图像序列的动态信息,经常导致对象及其相应行为的幻觉/误传。我们的定量分析和案例研究确定了影响MLLMs序列图像推理的三个关键因素:对象和行为幻觉之间的相关性、共现行为的影响以及行为幻觉的复合影响。我们的数据集在https://github.com/umd-huanglab/Mementos上可用。