多模态大模型综述《A Survey on Multimodal Large Language Models》

最新推荐文章于 2025-03-06 09:18:03 发布
最新推荐文章于 2025-03-06 09:18:03 发布
阅读量1.6k 收藏 4
点赞数 3
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_daxia/article/details/139687408
版权

在这里插入图片描述

架构图

在这里插入图片描述
在单模态的基础上，加了新的模态，encoder后，通过mlp或者其他方式与text对齐，再输入大模型。如果需要生成新的膜套，可以再通过生成器。（此处与SD不太一样），chatGPT不会生成图片，可以对图片进行理解。

训练方式

一般多个阶段。预训练、指令微调、对齐微调（RLHF）。

  • 预训练是通用能力。使得图像对齐到llm表征空间，数据来源于互联网上的图像对。
  • 指令微调是专业能力，提升在下游任务上的性能。数据来源于VQA、OCR、目标检测等数据
  • 对齐微调是纠错能力，类似LLM通过强化学习、人工打分排序，使得输出符合人类要求

其他技术方向

多模态幻觉：可以增加图像分辨率、提高数据质量，图像token表征、图像文本的对齐方式等
多模态上下文学习：Flamingo通过在图文交错的数据上训练来提升模型关注上下文的能力。
多模态思维链：将复杂的问题分解为较简单的子问题，然后分别解决并汇总。
LLM 辅助的视觉推理：利用 LLM 强大的内嵌知识与能力，并借助其他工具，设计各种视觉推理系统，解决各种现实问题。

https://www.qbitai.com/2024/04/134649.html

A Survey on Multimodal Large Language Models
c_cpp_csharp的专栏
07-04 1340
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，我们旨在追踪和总结MLLM的最新进展。首先，我们提出了MLLM的公式，并阐述了其相关概念。然后，我们讨论了关键技术和应用，包括多模式指令调整（M-IT）、多模式上下文学习（M-ICL）、多模态思想链（M-CoT）和LLM辅助视觉推理（LAVR）。
A Survey on Multimodal Large Language Models for Autonomous Driving
c_cpp_csharp的专栏
12-26 499
随着大型语言模型（LLM）和视觉基础模型（VFM）的出现，受益于大型模型的多模态人工智能系统有可能像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLM在自动驾驶和地图系统中得到了广泛关注。尽管其潜力巨大，但仍缺乏对LLM驾驶系统应用的关键挑战、机遇和未来努力的全面了解。在本文中，我们对这一领域进行了系统的研究。我们首先介绍了多模态大语言模型（MLLMs）的背景、使用LLM的多模态模型开发以及自动驾驶的历史。然后，我们概述了用于驾驶、运输和地图系统的现有MLLM工具以及现有的数据集和基准。
A Survey on Multimodal Large Language Models综述
机器学习，深度学习
07-16 1512
近期，以GPT-4V为代表的跨模态大型语言模型（MLLM）成为研究热点，它利用强大的大型语言模型（LLM）作为大脑执行跨模态任务。MLLM展现出如基于图像创作故事、OCR-free数学推理等令人惊讶的能力，这在传统跨模态方法中极为罕见，预示着通往通用人工智能的潜在路径。为此，学术界和产业界都在努力开发能与GPT-4V竞争甚至更好的MLLM，以惊人的速度推动研究极限。本文旨在追踪和总结MLLM的近期进展。
【论文阅读】A Survey on Multimodal Large Language Models
qq_58400270的博客
10-22 1479
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLM）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无ocr的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和llm辅助视觉推理（LAVR）。
【综述论文阅读】A Survey on Multimodal Large Language Models下
weixin_46231495的博客
03-06 1839
来自1 中科大科技学院、认知智能国家重点实验室2 腾讯优图实验室的综述，建立了github项目，持续更新该综述首先对 MLLM 的核心方面进行全面回顾，包括 (1) 主流架构（第 2 节）；(2) 训练策略和数据的完整配方（第 3 节）；(3) 性能评估的常见实践（第 4 节）。然后探讨了一些关于 MLLM 的重要问题：(1)哪些方面可以进一步改进或扩展（第 5 节）？(2) 如何缓解多模态幻觉问题（第 6 节）？（3）
A Survey on Evaluation of Multimodal Large Language Models——阅读笔记
weixin_60302661的博客
12-14 655
MLLMs通常由处理输入文本的大语言模型、编码其他各种模态（如图像、视频）输入的模态编码器以及将文本输入和其他模态输入对齐到一个对齐特征空间的模态投影器。另外，为了评估模型生成文本或图像的能力，广泛采用了如BLEU、ROUGE和METEOR [185], [186] 等指标。特定基准旨在评估MLLMs在特定任务或领域的表现，通常聚焦于需要专门评估的领域，如社会经济、科学、医学任务及其他应用。依我看，MLLM的能力大致分为识别、理解、推理、数学、科学知识，数学和科学知识我觉得可以归为高级的理解和推理。
多模态大模型（mllm）论文Survey和一些思考
白乔专栏
12-05 305
1. 简介（Introduction） 自以gpt3为代表的大语言模型问世以来，纯文本模态的大模型和多种模态混合的多模态大模型都获得了迅速的发展，无论是学术界还是工业界。文本模态的大语言模型几乎学习了目前人类能够从公开渠道获取到的所有的文本数据，结合模型规模的扩大以及模型“涌现”能力，使得大语言模型的“智能”、“记忆”、“推理”、“对话”、“创作”等多方面的能力得到了长足的发展。互联网发展到今天，除了海量的文本数据之外，还产生了更多的多模态数据，如图文多模态数据、音视频、甚至于某些终端还包含了位姿信号、深
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 924
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
多模态大模型（Multimodal Large Language Model，MLLM） 总结
lllllli_的博客
08-14 1133
延续BLIP-2的Q - Former, 在Q - Former中添加了Instruct, 从而使得Q - Former能完成Instruction-aware Visual Feature Extraction, 从而将Visual Feature从静态的变为动态的, 能够做到instruction following，其余细节基本一致。lock 的主干上串行的加入一个用 Cross Attention 增强文本表示的模块，从而让文本表示中能融入视觉信息。LLaVA 1.5 是 LLaVA 的改进版本。
多模态学习综述 Multimodal Machine Learning A Survey and Taxonomy
VIEO
07-12 2417
Multimodal Machine Learning: A Survey and Taxonomy,"多模态机器学习综述
全面了解多模态大语言模型 Multimodal Large Language Models，首个跟踪 MLLM 进展的论文集合...
我爱计算机视觉
06-02 1734
关注公众号，发现CV技术之美论文集合链接地址：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models大语言模型 Large Language Models（LLM）强大的泛化和推理能力给计算机视觉领域带来了很多灵感和启发，从而开辟出多模态大语言模型 Multimodal Large Language Models（ML...
SOTA多模态大模型！13个开源模型汇总，附论文和代码
热门推荐
2301_82275412的博客
05-06 2万+
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
多模态系列-综述Video Understanding with Large Language Models: A Survey
lansebingxuan的专栏
04-03 1851
随着在线视频平台的蓬勃发展和视频内容量的急剧增长，对高效视频理解工具的需求显著增强。鉴于大型语言模型（LLMs）在语言和多模态任务中展现出的强大功能，本综述详细梳理了利用LLMs进行视频理解领域研究的最新进展，特别是在视频理解大型语言模型（Vid-LLMs）方面的突破。Vid-LLMs展现出的新兴能力极为先进，特别是其结合常识知识进行开放性时空推理的能力，预示着未来视频理解的一个极具潜力的发展路径。
NLP深入学习：《A Survey of Large Language Models》详细学习（七）
日常学习与专研的记录
02-18 1258
本文根据《A Survey of Large Language Models》介绍 LLMs 的应用场景，文章主体的最后一部分。
（MLLMs）多模态大模型论文分享（1）
weixin_41964296的博客
07-19 557
多模态模型结合了多种数据类型，包括图像、文本、音频等。传统的大型语言模型(LLM)主要训练和应用于文本数据，但它们在理解其他数据类型方面有局限性。纯文本LLM，如GPT-3， BERT和RoBERTa，在文本生成和编码等任务中表现出色，但它们缺乏对其他数据类型的全面理解和处理。为了解决这个问题，多模态LLM集成了多种数据类型，克服了纯文本模型的限制，并为处理不同数据类型开辟了可能性。GPT-4是多模态LLM的一个很好的例子。它可以接受图像和文本形式的输入，并在各种基准测试中展示了人类水平的性能。
a survey on multimodal large l
最新发布
03-14
### 关于多模态大模型的研究概述 多模态大语言模型（Multimodal Large Language Models, MLLMs）近年来成为人工智能领域的重要研究方向之一。这些模型能够处理多种数据形式，如文本、图像、音频和其他传感器输入，从而实现更加复杂的任务解决能力[^1]。 #### 自动驾驶中的多模态大语言模型 在自动驾驶场景下，MLLMs 的应用尤为突出。它们可以融合来自摄像头、激光雷达和毫米波雷达等多种传感器的数据，提供全面的环境感知能力。一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步融入到自动驾驶系统中，并提出了未来可能的研究方向。 #### 数据集与基准测试 为了推动多模态大语言模型的进步，研究人员创建了许多公开可用的数据集和评估标准。例如，在自动驾驶领域，特定的任务驱动型数据集被用来验证模型的有效性和鲁棒性。这些资源对于促进学术界和工业界的协作至关重要[^3]。 #### 跨语言支持的重要性 尽管目前大多数先进的大型语言模型主要专注于单一语言（通常是英语），但也有不少努力旨在构建具备跨语言功能的版本。比如 VisCPM 和 Qwen-VL 这样的项目展示了通过精心设计的训练策略来增强模型对不同自然语言的支持程度的可能性。 ```python # 示例代码展示如何加载一个多模态预训练模型并执行推理操作 from transformers import AutoProcessor, CLIPModel model_name = "openai/clip-vit-base-patch32" processor = AutoProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name) image_url = "https://example.com/sample_image.jpg" text_input = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text_input, images=image_url, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over texts print(probs) ``` 上述代码片段演示了一个简单的例子，说明如何利用现有的开源工具包加载预先训练好的多模态模型来进行基本推断。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yang_daxia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值