A Survey on Multimodal Large Language Models

已于 2023-07-05 15:04:36 修改
阅读量1.3k 收藏
点赞数 1
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
于 2023-07-04 18:57:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/131536514
版权
Survey Paper 同时被 2 个专栏收录
262 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文详细介绍了多模态大语言模型（MLLM）的最新研究，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和LLM辅助视觉推理（LAVR）。通过这些技术，MLLM在多模态任务中展现出强大的潜力，逐步迈向人工通用智能。文章还讨论了当前面临的挑战和未来的研究方向，为研究人员提供了全面的综述。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列的文章之一，主要是讲解多模态的LLM。针对《A Survey on Multimodal Large Language Models》的翻译。

多模态大语言模型的综述

摘要

多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，我们旨在追踪和总结MLLM的最新进展。首先，我们提出了MLLM的公式，并阐述了其相关概念。然后，我们讨论了关键技术和应用，包括多模式指令调整（M-IT）、多模式上下文学习（M-ICL）、多模态思想链（M-CoT）和LLM辅助视觉推理（LAVR）。最后，我们讨论了现有的挑战，并指出了有希望的研究方向。鉴于MLLM时代才刚刚开始，我们将不断更新这项调查，并希望它能启发更多的研究。收集最新论文的相关GitHub链接可在https://github.com/BradyFU/AwesomeMultimodal-Large-Language-Models.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey on Multimodal Large Language Models for Autonomous Driving
c_cpp_csharp的专栏
12-26 521
随着大型语言模型（LLM）和视觉基础模型（VFM）的出现，受益于大型模型的多模态人工智能系统有可能像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLM在自动驾驶和地图系统中得到了广泛关注。尽管其潜力巨大，但仍缺乏对LLM驾驶系统应用的关键挑战、机遇和未来努力的全面了解。在本文中，我们对这一领域进行了系统的研究。我们首先介绍了多模态大语言模型（MLLMs）的背景、使用LLM的多模态模型开发以及自动驾驶的历史。然后，我们概述了用于驾驶、运输和地图系统的现有MLLM工具以及现有的数据集和基准。
A Survey on Multimodal Large Language Models综述
机器学习，深度学习
07-16 1557
近期，以GPT-4V为代表的跨模态大型语言模型（MLLM）成为研究热点，它利用强大的大型语言模型（LLM）作为大脑执行跨模态任务。MLLM展现出如基于图像创作故事、OCR-free数学推理等令人惊讶的能力，这在传统跨模态方法中极为罕见，预示着通往通用人工智能的潜在路径。为此，学术界和产业界都在努力开发能与GPT-4V竞争甚至更好的MLLM，以惊人的速度推动研究极限。本文旨在追踪和总结MLLM的近期进展。
【论文阅读】A Survey on Multimodal Large Language Models
qq_58400270的博客
10-22 1531
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLM）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无ocr的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和llm辅助视觉推理（LAVR）。
【综述论文阅读】A Survey on Multimodal Large Language Models 上
weixin_46231495的博客
03-04 963
综述又来啦，这篇综述24年的，来自1 中国科大科技学院、认知智能国家重点实验室2 腾讯优图实验室并建立了github项目指令（Instruction）是指任务的描述。直观来看，指令微调的目标是教会模型更好地理解用户的指令并完成所要求的任务。通过这种方式，LLM可以通过遵循新指令泛化到未见过的任务，从而提升零样本性能。
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 970
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
【综述论文阅读】A Survey on Multimodal Large Language Models下
weixin_46231495的博客
03-06 1855
来自1 中科大科技学院、认知智能国家重点实验室2 腾讯优图实验室的综述，建立了github项目，持续更新该综述首先对 MLLM 的核心方面进行全面回顾，包括 (1) 主流架构（第 2 节）；(2) 训练策略和数据的完整配方（第 3 节）；(3) 性能评估的常见实践（第 4 节）。然后探讨了一些关于 MLLM 的重要问题：(1)哪些方面可以进一步改进或扩展（第 5 节）？(2) 如何缓解多模态幻觉问题（第 6 节）？（3）
A Survey on Evaluation of Multimodal Large Language Models——阅读笔记
weixin_60302661的博客
12-14 672
MLLMs通常由处理输入文本的大语言模型、编码其他各种模态（如图像、视频）输入的模态编码器以及将文本输入和其他模态输入对齐到一个对齐特征空间的模态投影器。另外，为了评估模型生成文本或图像的能力，广泛采用了如BLEU、ROUGE和METEOR [185], [186] 等指标。特定基准旨在评估MLLMs在特定任务或领域的表现，通常聚焦于需要专门评估的领域，如社会经济、科学、医学任务及其他应用。依我看，MLLM的能力大致分为识别、理解、推理、数学、科学知识，数学和科学知识我觉得可以归为高级的理解和推理。
A Survey on Multimodal Large Language Models论文解读
qq_61786525的博客
10-13 1729
指令：指任务的描述。指令调整目的：教导模型更好地理解用户指令并完成要求任务，从而使模型能够通过遵循新指令来泛化到未见任务，提高零样本性能。与相关学习范式比较：与监督式微调和提示工程相比，指令调整学习如何泛化到未见任务，而不是拟合特定任务。对齐调整通常用于需要模型与特定人类偏好对齐的场景，例如减少幻觉（hallucinations）的响应。目前，强化学习与人类反馈（RLHF）和直接偏好优化（DPO）是对齐调整的两种主要技术。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9260
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 1945
LLM综述论文
多模态大语言模型综述来啦！一文带你理清多模态关键技术
夕小瑶科技说
06-30 1245
随着 ChatGPT 在各领域展现出非凡能力，多模态大型语言模型（MLLM）近来也成为了研究的热点，它，可以执行各种多模态任务。更让人感慨的是，，比如能够根据图像创作故事，无需 OCR 的数学推理等，这为实现人工智能的通用智能提供了一条潜在路径。也不乏有全面和前沿的综述出现，本文作者的目标是追踪和总结 MLLM 的最新进展。介绍了 MLLM 的并对相关概念概述，还深入讨论了。同时，他们也指出了当前研究中，并提出了一些有前景的。
中科大腾讯发布首篇《多模态大语言模型综述》
我爱计算机视觉
06-28 1409
关注公众号，发现CV技术之美项目链接(实时更新最新论文，已获1.8K Stars)：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models近来，多模态大语言模型(Multimodal Large Language Model，MLLM)受到广泛关注，成为一个新兴的研究热点。MLLM通常以大语言模型(Large Lang...
全面了解多模态大语言模型 Multimodal Large Language Models，首个跟踪 MLLM 进展的论文集合...
我爱计算机视觉
06-02 1847
关注公众号，发现CV技术之美论文集合链接地址：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models大语言模型 Large Language Models（LLM）强大的泛化和推理能力给计算机视觉领域带来了很多灵感和启发，从而开辟出多模态大语言模型 Multimodal Large Language Models（ML...
【论文解读系列】MLLM研究综述
JackCrum的博客
07-02 1852
多模态大语言模型(Multimodal Large Language Model, MLLM)是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的突发能力，如基于图像编写故事和无ocr数学推理，在传统方法中是罕见的，这表明了人工通用智能的潜在途径。在本文中，我们旨在追踪和总结最近的进展mllm。首先，我们提出了传销营销的概念，并对其相关概念进行了描述。
A Survey of Multimodal Large Language Model from A Data-centric Perspective——论文精读
weixin_60302661的博客
11-27 687
近年来，大语言模型（LLMs）和多模态大语言模型（MLLMs）快速发展。大多数现有的多模态大语言模型集中于通过修改模型架构来探索利用多模态信息。但数据同样对多模态大语言模型的成功起着重要作用。然而，关于多模态大语言模型的数据策划与利用的全面研究仍然匮乏，因此，本研究旨在以数据中心视角提供多模态大语言模型的全面理解。本文的关注点在于如何利用数据模态的异质性、增强数据结构、增加数据量并提高数据质量，以增强多模态大语言模型的能力。三个关键问题：如何收集、选择和管理多模态大语言模型的数据？
多模态大模型（mllm）论文Survey和一些思考
白乔专栏
12-05 394
1. 简介（Introduction） 自以gpt3为代表的大语言模型问世以来，纯文本模态的大模型和多种模态混合的多模态大模型都获得了迅速的发展，无论是学术界还是工业界。文本模态的大语言模型几乎学习了目前人类能够从公开渠道获取到的所有的文本数据，结合模型规模的扩大以及模型“涌现”能力，使得大语言模型的“智能”、“记忆”、“推理”、“对话”、“创作”等多方面的能力得到了长足的发展。互联网发展到今天，除了海量的文本数据之外，还产生了更多的多模态数据，如图文多模态数据、音视频、甚至于某些终端还包含了位姿信号、深
a survey on multimodal large l
最新发布
03-14
### 关于多模态大模型的研究概述 多模态大语言模型（Multimodal Large Language Models, MLLMs）近年来成为人工智能领域的重要研究方向之一。这些模型能够处理多种数据形式，如文本、图像、音频和其他传感器输入，从而实现更加复杂的任务解决能力[^1]。 #### 自动驾驶中的多模态大语言模型 在自动驾驶场景下，MLLMs 的应用尤为突出。它们可以融合来自摄像头、激光雷达和毫米波雷达等多种传感器的数据，提供全面的环境感知能力。一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步融入到自动驾驶系统中，并提出了未来可能的研究方向。 #### 数据集与基准测试 为了推动多模态大语言模型的进步，研究人员创建了许多公开可用的数据集和评估标准。例如，在自动驾驶领域，特定的任务驱动型数据集被用来验证模型的有效性和鲁棒性。这些资源对于促进学术界和工业界的协作至关重要[^3]。 #### 跨语言支持的重要性 尽管目前大多数先进的大型语言模型主要专注于单一语言（通常是英语），但也有不少努力旨在构建具备跨语言功能的版本。比如 VisCPM 和 Qwen-VL 这样的项目展示了通过精心设计的训练策略来增强模型对不同自然语言的支持程度的可能性。 ```python # 示例代码展示如何加载一个多模态预训练模型并执行推理操作 from transformers import AutoProcessor, CLIPModel model_name = "openai/clip-vit-base-patch32" processor = AutoProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name) image_url = "https://example.com/sample_image.jpg" text_input = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text_input, images=image_url, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over texts print(probs) ``` 上述代码片段演示了一个简单的例子，说明如何利用现有的开源工具包加载预先训练好的多模态模型来进行基本推断。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值