一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型

已于 2024-02-04 00:19:17 修改
阅读量6k 收藏 62
点赞数 16
分类专栏： AI人工智能：一文读懂「X」系列 文章标签： 人工智能 多模态 大模型 深度学习
于 2024-01-09 07:06:15 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/Julialove102123/article/details/135470520
版权

在这里插入图片描述

一. 什么是多模态？

模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。

1.1 背景

在这里插入图片描述

  1. Transformer颠覆传统模型，但限于单模态领域
  2. ViT的出现打通了CV和NLP之间壁垒，推动多模态演进，ViT中的Patch embedding在提取视觉特征方面效率优势明显
  3. 基于Vision Transformer，Video Transformer模型出现，如TimeSformer；
  4. Transformer权重共享决定其适合多模态，
了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM - 理解 多模态大语言模型(MLLM) 的 预训练(Pre-training) 与相关技术 (三)
AGI
09-12 1353
完备(Full-Fledged) 的 多模态大语言模型(MLLM) 经历 3 个阶段的训练，即 预训练(Pre-training)、指令微调(Instruction-Tuning) 和 对齐调优(Alignment Tuning)。每个训练阶段都需要不同类型的数据，并且实现不同的目标。本篇介绍，预训练(Pre-training) 部分。
多模态文档理解：一文读懂mPLUG-DocOwl系列模型
u013250861的博客
10-08 419
随着人工智能技术的发展，多模态大型语言模型（MLLMs）在视觉-文本理解领域取得了显著进展。mPLUG-DocOwl系列模型作为其中的佼佼者，展示了强大的无OCR文档理解能力。本文将解读mPLUG-DocOwl系列模型的架构、训练策略及其在多页文档理解中的应用。mPLUG-DocOwl系列模型通过统一的指令调优策略、高效的视觉抽象器和低秩适应模块，提升了模型在各种文档理解任务上的性能。
多模态大语言模型(MLLM)
12-09
多模态大语言模型(MLLMS)具有在各种领域展示了令人印象深刻的教学能力开放式任务。然而，以前的方法主要用于.关于增强多模态能力的讨论。在这项工作中我们介绍了一种多功能的多模态大语言模型,mPLUG-0wi2有效地利用模态协作来提高文本和多模态任务的表现。mPLUG-Owi2采用模块化网络设计，语言解码器作为管理不同模态的通用接口。具体来说，mPLUG-Owi2集成了共享功能模块，以促进模态协作，并引入了一个适应模态的模块，以保留模态特定特征。广泛的实验表明，mPLUG-Owi2能够同时泛化文本任务和多模态任务，并以单一通用模型实现最先进的性能。值得注意的是，mPLUG-Owl2是第一个在纯文本和多模态场景中展示模态协作现象的 MLLM 模型，为未来的多模态基础模型的发展开辟了先河。
多模态 LLM 的工作原理简述
古月居
03-06 1398
多模态 LLM 是能够处理多种类型输入的大型语言模型， 多模态 LLM 可以接受不同的输入模态（音频、文本、图像和视频）并返回文本作为输出模态。多模态 LLM 的一个直观的应用场景是为图像生成描述，提供输入图像，模型会生成图像的描述。当然，还有许多其它应用场景。比如从 PDF 表格中提取信息并将其转换为 LaTeX 或 Markdown。
多模态大模型综述，看这一篇就够了【什么是多模态？】
最新发布
m0_63171455的博客
03-28 1168
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
一文读懂多模态大模型（MLLM）
m0_52784465的博客
11-27 1385
选项且限于。
多模态大模型：基础架构
鲁班模锤
06-16 2922
多模态大型语言模型（MLLM）是人工智能领域的前沿创新，它结合了语言和视觉模型的功能，可以处理复杂的任务，如视觉问答和图像字幕。这些模型利用大规模预训练，集成了多种数据模态，以显著提高其在各种应用程序中的性能。
多模态大语言模型(MLLMs)-一般架构（非常详细）零基础入门到精通，收藏这一篇就够了
Python_0011的博客
06-11 3194
多模态大语言模型(Multimodal Large Language Model ,），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。相比于以往的多模态方法，例如以 CLIP 为代表的判别式，或以 OFA 为代表的生成式，新兴的 MLLM 展现出一些典型的特质，在下面这两种特质的加持下，MLLM 涌现出一些以往多模态模型所不具备的能力！模型大。MLLM 通常具有数十亿的参数量，更多的参数量带来更多的潜力；新的训练范式。
多模态大模型综述，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
09-10 2142
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
十、多模态大语言模型（MLLM）
挑大梁的专栏
04-27 1833
通过余弦距离将文和图转换至同一向量空间。将图像的分类闭集引入至开集。Mask Image Modeling 无监督图像特征学习。2 基于transformer架构的图像-文本联合建模。3 大规模 图-文 Token对齐模型CLIP。支持图文交替输出，输入文本或图像，输出自然语言。4 多模态大语言模型OpenAI GPTv4。
多模态大语言模型综述
2201_75499313的博客
06-06 1521
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学.针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。去年以来，我们见证了以 GPT-4V 为代表的多模态大语言模型(Multimodal Large Language Model，MLLM)的飞速发展。为此我们对综述进行了重大升级，帮助大家全面了解该领域的发展现状以及潜在的发展方向。MLLM 发展脉络图。
深入浅出：从入门到精通大模型Prompt、SFT、RAG、Infer、Deploy、Agent
lengm
12-28 2016
深入浅出：万字长文从入门到精通大语言模型LLM
聊聊多模态之 BLIP 系列
强化学习曾小健
10-20 123
作者：樊奇，上海交通大学硕士生全文约 2400 字，预计阅读时间 6 分钟在上一期 MiniGPT-4 的内容中，我们提到了来自BLIP 的 QForme。BLIP 同样作为多模态大模型的早期工作，尽管它的很多设计逐渐淡出 MLLM（Multimodal Large Language Model） 的发展主流，但其对于 MLLM 发展的意义仍是不可被磨灭的。因此，我们将在本期内容中聊一聊 BLIP 系列，希望对大家有所帮助。
多模态大型语言模型（MLLM）综述（非常详细）零基础入门到精通， 收藏这一篇就够了
Python_0011的博客
07-01 4453
最近，以GPT-4V为代表的多模态大型语言模型（MLLM）已成为新兴的研究热点，它使用强大的大型语言模型（LLMs）作为“大脑”来执行多模态任务。MLLM出人意料的涌现能力，如基于图像编写故事和无需OCR的数学推理，是传统多模态方法中罕见的，这表明了一条通往人工通用智能的潜在路径。为此，学术界和工业界都致力于开发能够与GPT-4V竞争甚至超越的MLLM，以惊人的速度推动研究的极限。在本文中，我们旨在追踪并总结MLLM的最新进展。
入门必读！多模态大语言模型的演变全回顾！（视觉定位、图像生成、编辑、理解）
AIGCer的博客
03-05 2910
注意力算子和Transformer架构的引入使得我们可以创建大规模的，能够处理各种模态的模型。这一进步主要归因于算子的多功能性和架构的适应性。最初，它们主要应用于语言模型，但很快就扩展到支持视觉处理骨干，并最终用于集成多种模态的模型。随着复杂的大语言模型的激增，尤其是它们在上下文学习方面的能力的进步，鼓励研究人员将这些模型的范围扩大到多种模态，既作为输入又作为输出。这种扩展促使了像GPT-4V和Gemini这样的尖端模型的开发，并展现了相当先进的能力。
一文彻底搞懂多模态：大语言模型推理，大模型入门到精通！
Androiddddd的博客
10-12 1393
Chain-of-Thought（思维链，简称CoT）是一种改进的提示技术，旨在提升大型语言模型（LLMs）在复杂推理任务上的表现。Chain-of-Thought要求模型在输出最终答案之前，先展示一系列有逻辑关系的思考步骤或想法，这些步骤相互连接，形成了一个完整的思考过程。Chain-of-Thought可以通过两种主要方式实现：Zero-Shot CoT和Few-Shot CoT。
一文看懂多模态大型语言模型GPT-4
勤于笔记，成于点滴。
03-30 5922
GPT-4是OpenAI公司3月推出的新一代人工智能预训练AI模型，是一个多模态大型语言模型，使用了1.5万亿个参数，是GPT-3.5的10倍之多，当然它也是世界上最大的人工智能模型。
从LLM到MLLM，多模态大规模语言模型KOSMOS-1赋予了语言模型看见世界的能力
zenRRan的博客
03-09 4253
来自：机器之心在 NLP 领域，大规模语言模型（LLM）已经成功地在各种自然语言任务中充当通用接口。只要我们能够将输入和输出转换为文本，就能使得基于 LLM 的接口完成一个任务。举例而言，对于摘要任务，我们能够将文档输入到语言模型，语言模型就可以生成摘要。尽管 LLM 在 NLP 任务中取得了成功的应用，但研究人员仍努力将其原生地用于图像和音频等多模态数据。作为智能的基本组成部分，多模态感知是实现...
一文读懂多模态大模型：原理、应用与挑战全解析
python1222_的博客
05-15 5114
在这个信息交织、五彩斑斓的时代，文字、图像、视频和音频如同四条蜿蜒曲折的河流，各自流淌，却又相互交织。它们构成了我们数字生活的核心元素，每一天，我们都在与之亲密接触。然而，面对这些形态各异的信息流，我们是否曾渴望过一个“全能翻译家”，能够理解、融合并为我们呈现一个完整的世界图景？而今，这样的“翻译家”已然来临，它就是备受瞩目的多模态大模型。它不仅跨越了语言和视觉的鸿沟，更在音频、触觉等多个领域展现出惊人的整合能力。它的出现，仿佛打开了一扇通往智能科技新纪元的大门，引领我们进入一个前所未有的交互时代。
LLM MLLM LVM
01-18
### 关于LLM、MLLM和LVM的区别与应用 #### LLM（大型语言模型） 大型语言模型是指那些通过大量文本数据训练而成的神经网络架构，这些模型能够理解和生成自然语言。随着参数量的增长，这类模型展现出了惊人的语言理解与推理能力，在处理各种语言任务时表现优异。然而，它们对于视觉信息的理解较为有限[^2]。 #### MLLM（多模态大型语言模型） 多模态大型语言模型不仅继承了传统大型语言模型的强大功能，还引入了十亿级参数规模的支持，从而更好地完成复杂的推理工作。更重要的是，为了充分发挥潜力，MLLM采用了诸如多模态指令微调等新颖的训练方法，使得模型可以根据不同形式的数据输入做出响应并执行相应操作。这种特性让MLLM能够在图像描述生成、视频字幕创建等多个跨领域应用场景中发挥作用[^1]。 此外，最新的研究表明，MLLM正在不断拓展自身的边界，无论是基础性能还是适用范围都得到了极大改善。不过值得注意的是，当前有关MLLM的情境学习及思维链条构建等方面的研究仍处在起步阶段，未来还有很大的发展空间[^4]。 #### LVM（大型视觉模型而非线性虚拟机） 这里提到的LVM并非指代编程中的线性虚拟机概念，而是特指专注于计算机视觉领域的大型预训练模型。该类模型擅长解决各类视觉识别问题，比如物体检测、分类等。虽然在特定视觉任务上的准确性很高，但在涉及逻辑分析或抽象思考的任务面前则显得力不从心。 综上所述，三种类型的模型各自拥有独特的优势和技术侧重点： - **LLM** 主要在纯文字环境中表现出色； - **MLLM** 则进一步融合了多种感官模式下的交互体验； - 而 **LVM** 更加侧重于图形化内容的认知解析；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

朱晓霞AI

您的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值