本研究为深入理解 MLLMs 的潜力和局限提供了极有价值的参考,为未来多模态应用的发展提供了指导,以缩小多模态大模型与实际落地应用之间的差距。这对于推动通用人工智能技术在多领域的应用具有重要意义。
2023 年我们正见证着多模态大模型的跨越式发展,多模态大语言模型(MLLM)已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力,成为技术新浪潮。以 Llama 2,Mixtral 为代表的大语言模型(LLM),以 GPT-4、Gemini、LLaVA 为代表的多模态大语言模型跨越式发展。然而,它们的能力缺乏细致且偏应用级的评测,可信度和因果推理能力的对比也尚存空白。
近日,上海人工智能实验室的学者们与北京航空航天大学、复旦大学、悉尼大学和香港中文大学(深圳)等院校合作发布 308 页详细报告,对 GPT-4、Gemini、LLama、Mixtral、LLaVA、LAMM、QwenVL、VideoChat 等热门的 LLM 和 MLLM 进行评测。根据 4 种模态(文本、代码、图像及视频)和 3 种能力(泛化能力、安全可信能力和因果推理能力)