多模态大模型有何进展？西工大等最新《多模态大型语言模型》全面综述

摘要——在数据爆炸性增长和技术快速发展的时代，多模态大型语言模型（MLLMs）处于人工智能（AI）系统的前沿。MLLMs旨在无缝集成包括文本、图像、视频、音频和生理序列在内的多种数据类型，解决远远超出单一模态系统能力范围的复杂现实应用问题。在本文中，我们系统地梳理了MLLM在自然语言、视觉和音频等多模态任务中的应用。我们还对不同MLLM在任务中的关注点进行了对比分析，并深入探讨了当前MLLMs的不足之处，并提出了未来研究的潜在方向。通过这些讨论，本文希望为MLLM的进一步发展和应用提供宝贵的见解。

关键词——MLLMs, 任务, AI应用, 融合技术。

多模态大型语言模型（MLLMs）是设计用来处理和集成各种类型数据的复杂人工智能（AI）系统，包括文本、图像、视频、音频和生理序列数据[1]，[2]，[3] 。随着我们进入多模态数据融合的时代，信息技术的快速进步和数据量的爆炸性增长，单一模态系统的能力已不足以应对复杂的现实任务[4]，[5]，[6]。因此，MLLMs的发展不仅是技术进化的必然趋势，也是提高AI应用有效性的关键改进。通过融合来自多个数据源的信息，MLLMs培育了更全面和准确的信息表示，这种能力不仅释放了巨大的潜力，还展示了在各个领域的显著实际应用价值。多样化数据集的整合使得MLLMs能够更有效地执行任务，确立其作为下一代技术的不可或缺地位，致力于充分发挥AI技术的潜力[7]，[8]，[9]。值得注意的是，MLLMs在语言、图像、视频和音频处理等多种多模态任务中表现出了显著的性能。这些模型在集成多模态信息以增强多模态任务的有效性方面表现出色。

在自然语言处理（NLP）任务中，如文本生成和机器翻译，MLLMs利用图像、视频和音频提供上下文支持，增强生成文本的准确性和表达力[10]，[11]，[12] 。这些模型在情感分析和对话系统中也表现出色，通过整合多模态信息来提高理解和生成能力。特别是，MLLMs通过结合视觉和听觉数据，丰富了文本生成和机器翻译[13]，[14]，[15]。这些模型提高了生成文本的准确性和表达力，提供了传统模型无法实现的细腻上下文支持。在情感分析和对话系统中，MLLMs能够整合多模态信息，进一步加深系统的理解和响应能力，展示了在人机交互方面的重大进步[16]，[17]。

此外，在视觉任务中，MLLMs显著提升了任务的理解、分析和生成能力。整合文本描述和图像指令使得图像分类、目标检测和图像注释等任务更加准确。例如，像GPT-4V[13]和Gemini**[18]这样的MLLMs结合图像内容和自然语言描述，产生更生动和精确的注释结果。这些模型在图像生成方面也取得了进展，可以从文本描述生成图像或实现跨模态图像风格迁移，从而拓宽了该领域的可能性。同时，由于视频处理的复杂性，它提出了独特的挑战。然而，MLLMs的出现推动了语言模型在这一领域的能力发展。像NExT-GPT[19]和Sora[20]这样的模型在多模态视频生成方面处于领先地位，通过学习多模态数据生成更丰富和逼真的视频内容。此外，智能视频理解技术的进步，如VideoChat[21]和Video-LLaVA[22]，显著增强了分析和处理视频内容的能力。这些发展在虚拟现实、电子游戏和教育应用中承诺了增强的用户体验。

在音频任务中，MLLMs为音频处理任务带来了新的技术变革。传统的音频处理通常依赖于单一模态的信号处理方法，如语音识别[23]或音频分类[24]，这些方法在处理复杂的多模态数据时存在局限性。MLLMs通过结合音频信号、文本和视觉信息，能够更好地理解和生成音频相关内容。例如，在语音生成任务