近一年，多模态视觉&语言大模型架构演进汇总梳理

最新推荐文章于 2025-03-13 10:51:29 发布
最新推荐文章于 2025-03-13 10:51:29 发布
阅读量1.2k 收藏 14
点赞数 18
文章标签： 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/140480611
版权

近一年，多模态视觉&语言大模型架构演进汇总梳理

CV开发者都爱看的 极市平台 2024年07月15日 22:00 广东

作者丨Dreamweaver

极市导读

本文回顾了多模态LLM (视觉-语言模型) 近一年来的模型架构演进，对其中有代表性的工作进行了精炼总结，截止2024.06。 

这篇综述一张图总结了多模态LLM的典型架构：

图片

BLIP

【2022.01发布】[1]

统一视觉-语言理解和生成，使用captioner+filter高效利用互联网有噪数据

图片

模型架构：

• Image/text encoder: ITC loss对齐视觉和语言表征，基于ALBEF提出的momentum distillation

• Image-grounded text encoder: ITM loss建模视觉-语言交互，区分positive/negative图文对，使用hard negative mining挖掘更高相似度的负例优化模型

• Image-grounded text decoder: LM loss实现基于图像的文本解码，将双向self-attention替换为causal self-attention

图片

BLIP的bootstrapping训练过程：

图片

BLIP-2

【2023.01发布】[2]

使用相对轻量的Q-Former连接视觉-语言模态

最低0.47元/天 解锁文章
多模态大模型：基础架构
鲁班模锤
06-16 2931
多模态大型语言模型（MLLM）是人工智能领域的前沿创新，它结合了语言和视觉模型的功能，可以处理复杂的任务，如视觉问答和图像字幕。这些模型利用大规模预训练，集成了多种数据模态，以显著提高其在各种应用程序中的性能。
多模态模型架构的演进
人工智能讲师分享前沿技术
10-13 1631
多模态学习正成为连接不同类型数据（如图像、文本、音频等）的桥梁。随着深度学习技术的发展，多模态模型在理解和处理跨领域数据方面表现出了显著的效能。来自普渡大学、混沌工业公司、斯坦福大学和亚马逊的研究人员共同撰写了一篇论文，题为《多模态模型架构的演进》（The Evolution of Multimodal Model Architectures），该论文系统地识别并描述了当代多模态领域中普遍存在的四种多模态模型架构模式。
江大白 | 近一年，多模态视觉&语言大模型架构演进汇总梳理
csdn_xmj的博客
07-12 1782
近些年各种大模型层出不穷，本文对多模态LLM (视觉-语言模型) 近一年来的模型架构演进进行了详细回顾，对其中有代表性的工作进行了精炼总结，希望对大家有所帮助。
YOLOv8多模态检测核心技术解析：跨模态特征融合机制逐层拆解（含独家结构示意图）
最新发布
弗兰-随风小欢的博客
03-13 2504
YOLOv8多模态检测核心技术解析：跨模态特征融合机制逐层拆解（含独家结构示意图）
盘点 2024 年的视觉语言模型VLMs
xx_nm98的博客
11-24 1348
视觉语言模型（Vision Language Models, VLMs）是一类生成模型，能够同时从图像和文本中学习以解决多种任务。视觉语言模型被广义定义为能够从图像和文本中学习的多模态模型。这类生成模型以图像和文本为输入，生成文本（或图像）作为输出。大型视觉语言模型在零样本学习中表现出色，具有良好的泛化能力，并能够处理多种类型的图像，包括文档、网页等。
入门必读！多模态大语言模型的演变全回顾！（视觉定位、图像生成、编辑、理解）
AIGCer的博客
03-05 2926
注意力算子和Transformer架构的引入使得我们可以创建大规模的，能够处理各种模态的模型。这一进步主要归因于算子的多功能性和架构的适应性。最初，它们主要应用于语言模型，但很快就扩展到支持视觉处理骨干，并最终用于集成多种模态的模型。随着复杂的大语言模型的激增，尤其是它们在上下文学习方面的能力的进步，鼓励研究人员将这些模型的范围扩大到多种模态，既作为输入又作为输出。这种扩展促使了像GPT-4V和Gemini这样的尖端模型的开发，并展现了相当先进的能力。
视觉语言模型详解【VLM】
热门推荐
新缸中之脑
05-20 2万+
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
令人惊叹的预训练中文NLP模型，高质量的中文预训练模型&大型模型&多模态模型&大型语言模型集合.zip
10-15
高质量的中文预训练模型&大型模型&多模态模型&大型语言模型集合.zip令人惊叹的预训练中文NLP模型，高质量的中文预训练模型&大型模型&多模态模型&大型语言模型集合.zip令人惊叹的预训练中文NLP模型，高质量的中文预...
高质量中文预训练模型&大模型&多模态模型&大语言模型集合
03-14
在实际应用中，多模态模型可以结合视觉信息和语言信息，用于图像描述生成、视频理解、语音识别等任务，大大拓宽了人工智能的应用范围。 “垂直领域大模型”是针对特定行业或领域的预训练模型，如医疗、法律、金融等...
【大模型-多模态】复杂视觉推理任务中利用多模态增强大规模语言模型能力的方法研究
10-05
该方法旨在提升大型语言模型（LLMs）与视觉语言模型（VLMs）结合进行多模态复杂视觉推理任务的能力，具体来说，在视觉感知方面应用了详细自适应图像描述的推断过程，并利用大规模语言模型进行更精确地预测。...
视觉语言模型：融合视觉与语言的未来
m0_56022510的博客
07-06 2484
视觉语言模型（Vision-Language Models, VLMs）是能够同时处理和理解视觉（图像）和语言（文本）两种模态信息的人工智能模型。这种模型结合了计算机视觉和自然语言处理的技术，使得它们能够在视觉问答、图像描述生成、文本到图像搜索等复杂任务中表现出色。它是将transformer架构应用到计算机视觉领域的成功案例。具体来说就是将传统CNN中图像特征提取的全局替换为注意力机制。视觉语言模型在多个领域展示了巨大的潜力，包括图像检索、生成式AI、图像分割、医疗诊断和机器人技术。
视觉大语言模型~
whaosoft143ai的博客
11-16 874
这是视觉大语言模型在自动驾驶和智能交通中的最新应用一点思考当前VLM, LLM十分的热门, 尤其是在自动驾驶领域, 自动驾驶的输入本身就是多模态的, 这里面最重要的就是图像和语言信息, 所以如何将图像和文本信息综合利用, 以及如何充分利用LLM是当前急需要探索的, 目前其实已有部分工作是关于VLM及LLM在自动驾驶中应用的, 比如为了利用文本信息，为了出可解释性, 但是其实VLM与LLM在自动驾驶中的应用远不止这些, 可以结合的地方有很多, 比如感知, 决策，规划, 可以分别从这些方向入手探讨结合的方向。另
多模态视觉大模型的架构
weixin_42001184的博客
02-27 212
参考文献： Awais M, Naseer M, Khan S, et al. Foundational models defining a new era in vision: A survey and outlook. arXiv, 2023.参考文献： Alayrac J B, Donahue J, Luc P, et al. Flamingo: a visual language model for few-shot learning. NIPS, 2022.类型1： 输入与输出模态不同。
VLM（视觉语言模型）综述
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
VL综述：视觉-语言智能:任务、表征学习、大模型
qq_45331246的博客
09-18 2899
多模态综述
多模态视觉大模型(1):大模型的架构
@bangbang的博客
04-28 1223
多模态指的是输入数据的类型，它可以是文本、视频、音频等不同的模态形式，包括各种表格，json,图像以及各种传感器采的数据在深度学习传统模式一般都是采用单模态训练范式，我们针对每一个模态甚至是每个任务，需要用单独的一个模型训练得到，但作为我们人类，对外面世界的感官，其实一直都是使用多个模态的信息，比如我们看视频的时候，我们会看图像，听声音，同时也会经常看字幕，这就包含了图像、音频、文字这三种模态的信息，而且三种模态信息之间互补，比如声音没听明白的地方，结合字幕就能看懂。
多模态大模型综述，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
09-10 2158
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
视觉语言大模型模型介绍-CLIP学习
qq_60199131的博客
09-19 2530
在这个场景中，配对的图像和文本对是正样本，因为它们描述的是相同的内容，这些正样本位于特征矩阵的对角线上。2、 2022年的BL1P， 之前的CLIP是一个图像理解模型，不能对图像进行一个文本描述生成，它是一个集图像生成和文本描述为一体的模型，并且，它考虑到从网络上采集(爬取)的数据存在大量噪声，(这个噪声指图片对应的标签、文本 错误、不匹配)，BLIP模型采用了一种称为CapFilt ( Captioning and Filtering) 的方法来去除噪声数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值