全面了解多模态大语言模型 Multimodal Large Language Models，首个跟踪 MLLM 进展的论文集合...

最新推荐文章于 2025-04-14 13:22:32 发布
最新推荐文章于 2025-04-14 13:22:32 发布
阅读量1.7k 收藏 3
点赞数
文章标签： 语言模型 计算机视觉 人工智能 深度学习 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTE1NjQxMQ==&mid=2247614245&idx=2&sn=cfec3088786aee7ac93fecc576777fcb&chksm=96f14d71a186c4674fb98f05cdf82e920b63787a61ba70f922d3148daf34fd7b4e787ce9c63f&scene=126&sessionid=0
版权

关注公众号，发现CV技术之美

  • 论文集合链接地址：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

大语言模型 Large Language Models（LLM）强大的泛化和推理能力给计算机视觉领域带来了很多灵感和启发，从而开辟出多模态大语言模型 Multimodal Large Language Models（MLLM）这一全新的前沿热点方向。该项目汇集了该方向近期的论文，包括：

  • Multimodal Instruction Tuning

  • Multimodal In-Context Learning

  • Multimodal Chain-of-Thought

  • LLM-Aided Visual Reasoning

  • Fundation Models

  • others

这 6 个子方向以及相应的新开放的数据集，该链接将保持实时更新，便于研究人员跟进。

68327d48dafc695e0f408c7fc2aad08c.png 89148b88425db863e9c7dcd645fd1ef4.png fae9bb695ad30ace5f2d9975551e12ac.png 4ab09b9e8f51b02665282ee95c235cec.png 3e7bd078a9e7eb586a15fc7dbe6c63b2.jpeg

END

加入「计算机视觉」交流群👇备注：CV

de9e4141c8703713e78b62b3b689c3de.png

一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 6134
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models
c_cpp_csharp的专栏
08-18 2321
多模态大语言模型（MLLM）依靠强大的LLM来执行多模态任务，在最近的研究中显示出惊人的涌现能力，例如基于图像写诗。然而，这些案例研究很难完全反映MLLM的表现，缺乏全面的评估。在本文中，我们填补了这一空白，提出了第一个MLLM评估基准MME。它测量了总共14个子任务的感知和认知能力。为了避免直接使用公共数据集进行评估可能导致的数据泄露，指令-答案对的注释都是手动设计的。简洁的指令设计使我们能够公平地比较MLLM，而不是在提示工程中苦苦挣扎。此外，有了这样的指示，我们也可以很容易地进行定量统计。
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language ModelsMME：多模态大语言模型综合评估基准
Mars_prime的博客
12-11 5783
在本节中，我们对 MME 基准进行了大量实验，以评估总共 12 个开源 MLLM，包括 BLIP-2、LLaVA、MiniGPT-4、mPLUG-Owl、LLaMA-Adapter-v2、Otter、Multimodal-GPT、 InstructBLIP、VisualGLM-6B、PandaGPT、ImageBind-LLM 和 LaVIN。细粒度的识别更多的是测试MLLM的知识资源。为了推断出正确的答案，MLLM需要遵循指令，感知图像的内容，并调用LLM中保留的知识，这比单一的感知任务更具挑战性。
多模态大模型综述，看这一篇就够了【什么是多模态？】
m0_63171455的博客
03-28 1206
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
十、多模态大语言模型（MLLM）
挑大梁的专栏
04-27 1840
通过余弦距离将文和图转换至同一向量空间。将图像的分类闭集引入至开集。Mask Image Modeling 无监督图像特征学习。2 基于transformer架构的图像-文本联合建模。3 大规模 图-文 Token对齐模型CLIP。支持图文交替输出，输入文本或图像，输出自然语言。4 多模态大语言模型OpenAI GPTv4。
多模态大语言模型综述来啦！一文带你理清多模态关键技术
夕小瑶科技说
06-30 1226
随着 ChatGPT 在各领域展现出非凡能力，多模态大型语言模型（MLLM）近来也成为了研究的热点，它，可以执行各种多模态任务。更让人感慨的是，，比如能够根据图像创作故事，无需 OCR 的数学推理等，这为实现人工智能的通用智能提供了一条潜在路径。也不乏有全面和前沿的综述出现，本文作者的目标是追踪和总结 MLLM 的最新进展。介绍了 MLLM 的并对相关概念概述，还深入讨论了。同时，他们也指出了当前研究中，并提出了一些有前景的。
【LLM】多模态LLM综述MultiModal Large Language Models
发现问题，并解决问题，批判性思维
06-02 3833
note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
多模态大模型（Multimodal Large Language Model，MLLM） 总结
lllllli_的博客
08-14 1129
延续BLIP-2的Q - Former, 在Q - Former中添加了Instruct, 从而使得Q - Former能完成Instruction-aware Visual Feature Extraction, 从而将Visual Feature从静态的变为动态的, 能够做到instruction following，其余细节基本一致。lock 的主干上串行的加入一个用 Cross Attention 增强文本表示的模块，从而让文本表示中能融入视觉信息。LLaVA 1.5 是 LLaVA 的改进版本。
多模态大语言模型领域进展分享.pptx
01-11
多模态大语言模型(Multimodal Large Language Models, MLLMs)是近年来人工智能领域发展迅速的一个分支。在传统的语言模型基础上，多模态大语言模型增加了对视觉和其他模态信息处理的能力，这使得模型能够处理更加...
多模态大型语言模型（Multimodal Large Language Models, MLLMs）
最新发布
Rhett_Butler0922的博客
04-14 735
与传统的单一模态模型（如仅处理文本的BERT或仅处理图像的ResNet）不同，多模态学习的目标是融合不同模态的信息，挖掘它们之间的互补性和语义关联，模仿人类的多感官认知能力。多模态学习从文本LLMs出发，通常是将视觉或听觉信息编码为与文本类似的表示（例如向量），然后利用LLMs的Transformer架构进行联合建模。多模态学习的原理可以从文本LLMs的视角分解为以下几个关键步骤：模态编码、跨模态对齐、模态融合和任务建模。多模态学习的第一步是将不同模态的数据编码为统一的表示空间，通常是高维向量空间。
A Survey on Multimodal Large Language Models综述
机器学习，深度学习
07-16 1512
近期，以GPT-4V为代表的跨模态大型语言模型（MLLM）成为研究热点，它利用强大的大型语言模型（LLM）作为大脑执行跨模态任务。MLLM展现出如基于图像创作故事、OCR-free数学推理等令人惊讶的能力，这在传统跨模态方法中极为罕见，预示着通往通用人工智能的潜在路径。为此，学术界和产业界都在努力开发能与GPT-4V竞争甚至更好的MLLM，以惊人的速度推动研究极限。本文旨在追踪和总结MLLM的近期进展。
多模态大模型综述，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
09-10 2166
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
【综述论文阅读】A Survey on Multimodal Large Language Models 上
weixin_46231495的博客
03-04 924
综述又来啦，这篇综述24年的，来自1 中国科大科技学院、认知智能国家重点实验室2 腾讯优图实验室并建立了github项目指令（Instruction）是指任务的描述。直观来看，指令微调的目标是教会模型更好地理解用户的指令并完成所要求的任务。通过这种方式，LLM可以通过遵循新指令泛化到未见过的任务，从而提升零样本性能。
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 924
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
【论文阅读】A Survey on Multimodal Large Language Models
qq_58400270的博客
10-22 1478
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLM）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无ocr的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和llm辅助视觉推理（LAVR）。
A Survey on Multimodal Large Language Models
weixin_44466434的博客
09-17 1052
111
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值