基于LLMs的多模态大模型（PALM-E，ArtGPT-4，VPGTrans ）

最新推荐文章于 2024-09-04 07:27:37 发布
最新推荐文章于 2024-09-04 07:27:37 发布
阅读量2.7k 收藏 9
点赞数 3
分类专栏： 深度学习 多媒体和多模态 文章标签： 人工智能 预训练 大模型 多模态 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39388410/article/details/130773815
版权
文章介绍了三个关于多模态大模型的最新研究：PaLM-E是一个562B的视觉语言模型，用于多模态具身智能；ArtGPT-4是基于MiniGPT-4的改进模型，擅长艺术图像理解和生成；VPGTrans提出了一种迁移学习方法，减少VL-LLM的训练成本。这些研究展示了多模态模型在理解和生成任务上的进步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这个系列已经更文一些了，如果有新的文章会继续补充：

本篇文章先放一些比较杂的延伸和应用的文章，后面形成分支了再单独开，目前主要是PALM-E，ArtGPT-4，VPGTrans 等。

Pathways Language Model with Embodied
PALM-E是博主很关心的文章之一，它是一个562B的视觉语言模型（PaLM-540B + ViT-22B），有个是目前全球最大的视觉语言模型了。同时它将集成到机器人控制中，即多模态具身智能，这将为目前已经很强大的模型们加上机器人的手臂。关于多模态具身智能可以看博主以往的博文，不再赘述：

最低0.47元/天 解锁文章
多模态大模型综述: LLaVA, MiniGPT4
pku_langzi的博客
06-17 6430
题目: Visual Instruction Tuning机构：微软论文:任务: 视觉指令微调（具备对话，推理的能力，rather than 图像描述）特点: 利用GPT4做数据生成，以及评测，视觉projection不想BLIP2一样是Q-Former，而是一个简单的映射层方法: LLM选择LLaMA，然后做视觉指令微调前置相关工作：GPT4, LLaMA, BLIP2, OpenFlamingo同期相似性工作：InstructBLIP。
VPGTrans
whaosoft143ai的博客
05-21 135
比如，相比于从头训练，我们通过 BLIP-2 OPT-2.7B 到 6.7B 的 VPG 迁移，可以仅用大约 10% 的数据和计算时间就达成各个数据集相似或更好的效果 (图 1)。c) TaT 场景下，越小的模型之间迁移的 gap 越大。(1) 直接继承一个训练好的 VPG 可以加速收敛，但效果有限：我们发现，直接迁移一个 LLM 上训练好的 VPG 到大 LLM 可以加速模型收敛，但加速效果有限，且收敛后模型效果相比于从头训练 VPG 会掉点 (图 5 的 VQAv2、GQA 蓝线最高点均低于橘线)。
推荐开源项目：VPGTrans——高效跨语言模型视觉提示生成器
gitblog_00036的博客
05-25 398
推荐开源项目：VPGTrans——高效跨语言模型视觉提示生成器 VPGTrans项目地址:https://gitcode.com/gh_mirrors/vp/VPGTrans 随着人工智能领域的快速发展，尤其是大型预训练模型在自然语言处理和计算机视觉中的应用，创建一个强大的视觉-语言（VL）模型通常需要大量的计算资源和数据。为了解决这个问题，我们很高兴向您推荐VPGTrans，这是一个创新性的框...
VPGTrans: 用10%的成本定制一个你自己的GPT-4多模态对话模型
Paper weekly
05-12 353
一句话介绍：最近的多模态（对话）大模型将基于文本的 ChatGPT 的强大能力扩展到了多模态输入，实现强大的多模态语义理解，比如最近的 GPT-4、BLIP-2、Flamingo 等。但咱们普通玩家训练一个多模态 GPT 代价非常昂贵。本工作提出一个 VPGTrans 框架，帮助小伙伴们实现极低成本训练一个高性能多模态大模型。论文题目：VPGTrans: Transfer Visual Promp...
训练成本不到1000元，直降90%！NUS、清华发布VPGTrans：轻松定制类GPT-4多模态大模型...
zandaoguang的博客
05-20 193
视学算法报道编辑：LRS 好困【导读】最近的多模态（对话）大模型将基于文本的ChatGPT的强大能力扩展到了多模态输入，实现强大的多模态语义理解，比如GPT-4、BLIP-2、Flamingo等。但咱们普通玩家训练一个多模态GPT代价非常昂贵。来自于新加坡国立大学和清华大学的研究工作提出一个VPGTrans框架，帮助小伙伴们实现极低成本训练一个高性能多模态大模型。今年是AI技术爆发式发展的...
Transfer Visual Prompt Generator across LLMs
nopSled
05-18 506
Background。近年来，大型语言模型（LLM）在类人人工智能方面有了很大的增长。通过扩大模型大小（例如，从11B到175B），LLMS具有理解人类语言的惊人能力。通过与视觉等其他模态相链接，基于文本的LLM会进一步增强，从而得到vision-language LLMs（VL-LLM），例如 ，BLIP-2，Flamingo，GPT-4等多模态对话系统，以及用于实体AI系统的PaLM-E。
多模态大模型 前沿算法与实战应用【附源码+课件】
最新发布
12-10
多模态大模型前沿算法与实战应用，是一门涵盖了多模态概念、大模型架构、实际应用案例以及代码实现的综合性课程。课程内容深入探讨了多模态大模型的核心技术，实战应用的策略和方法，并提供了源码和课件，使得学习者...
LLMRec-基于pormpt提示大语言模型(LLMs)的个性化基于内容的多模态推荐系统
11-21
"LLMRec-基于pormpt提示大语言模型(LLMs)的个性化基于内容的多模态推荐系统" 基于 Prompt 提示大语言模型 (LLMs) 的个性化基于内容的多模态推荐系统 LLMRec，旨在解决推荐系统中的数据稀疏性问题。该系统引入 side ...
【论文综述+多模态】腾讯发布的多模态大语言模型（MM-LLM）综述(2024.02)
进一寸有一寸的欢喜
02-29 6861
多模态大语言模型：Multimodal Large Language ModelsMM-LLM =预训练单模态模型（ 含LLMs） + 微调对齐所有模态 + 输出调整MM-LLMs 利用现成的预训练单模态基础模型，特别是强大的大型语言模型（LLMs）， 作为认知核心，赋予各种多模态任务能力。LLMs 提供了稳健的语言生成、zero-shot 迁移能力和上下文学习（ICL）等可取特性在这一领域中，主要关注点是通过多模态预训练（MM PT, Pre-Training）+ 多模态指令调整。
【大模型-多模态】复杂视觉推理任务中利用多模态增强大规模语言模型能力的方法研究
10-05
该方法旨在提升大型语言模型（LLMs）与视觉语言模型（VLMs）结合进行多模态复杂视觉推理任务的能力，具体来说，在视觉感知方面应用了详细自适应图像描述的推断过程，并利用大规模语言模型进行更精确地预测。...
又一个GPT-4平替版！训练开销骤减，定制专属多模态大模型！
idol24的博客
05-19 371
张傲，费豪，姚远，吉炜，黎力，刘知远，Chua Tat-Seng机构：新加坡国立大学，清华大学本文来源 机器之心最近的多模态（对话）大模型将基于文本的 ChatGPT 的强大能力扩展到了多模态输入，实现强大的多模态语义理解，比如 GPT-4、BLIP-2、Flamingo 等。但对于很多研究者来说，训练一个多模态 GPT 代价非常昂贵。本文来自新加坡国立大学和清华大学的研究者提出了一个名...
VPGTrans 使用指南
gitblog_00922的博客
09-04 628
VPGTrans 使用指南 VPGTrans项目地址:https://gitcode.com/gh_mirrors/vp/VPGTrans 项目概述 VPGTrans 是一个开创性的视觉提示生成器迁移方案，由 Ao Zhang 等人开发。此项目旨在减少跨大型语言模型（LLM）传输现有视觉提示生成器(VPG)的成本，特别是在资源密集型的多模态学习任务中。通过精心设计的两阶段转移框架，VPGTran...
多模态学习历程(LMM详解)
qq_42987894的博客
01-23 2245
想象一个机器，它的工作就是从一堆预先设定的选项中，选择一个最合适的类别。但这种方法只在选项有限的情况下才行得通。之前的很多模型都受到这样的限制。比如，ILSVRC-2012 的模型只能在 1,000 个类别中选择，而 JFT-300M 的选择则为 18,291 个类别。这种方法的缺陷是，模型可能会受到类别的限制而无法给出丰富的回答，还限制了其零样本 (Zero-shot) 学习的能力。比方说，如果训练它只认识 10 种类别，那么当出现 100 种类别时，它就不知所措了。
谷歌发布史上最大「机器人、视觉和语言“通才”」模型：PaLM-E 562B
u012744245的博客
03-17 741
2023年3月6日，Robotics at Google、柏林工业大学和 Google Research 团队提出了一个具身多模态语言模型 PaLM-E，通过 PaLM-540B 语言模型与 ViT-22B 视觉Transformer模型相结合，足足有5620亿参数，可以称之为「史上最大视觉语言模型（VLM）」，无需特殊训练就可执行各种任务。PaLM-E 不仅可以理解图像，还能理解、生成语言，而且竟然还能将两者结合起来，处理复杂的机器人指令。
最全 LMM 模型结构（13种）综述
人工智能讲师分享前沿技术
12-20 5037
这样做的动机是，LLM 中的每个注意力头都捕获了某个方面的语义信息，训练的 visual expert module 可以转换图像特征，以与不同的头对齐，从而实现深度融合。也就是对应的 Query 的维度为 （32 x 768），由于 transformer block 并不会更改输入的维度，因此 image transformer 输出的维度 Z 也为 （32 x 768），这相比冻结的 image encoder 输出的维度小得多（比如，ViT-L/14 对应输出维度为 257 x 1024）。
PaLM-E 开源项目教程
gitblog_00016的博客
08-31 688
PaLM-E 开源项目教程 PALM-EImplementation of "PaLM-E: An Embodied Multimodal Language Model"项目地址:https://gitcode.com/gh_mirrors/pa/PALM-E 项目介绍 PaLM-E 是一个多模态语言模型，结合了大型语言模型 PaLM 和先进的视觉模型 ViT-22B。PaLM-E 不仅在视觉-...
论文阅读_PaLM-E
谢彦的技术博客
04-09 1360
Embodied一般译作“具身”，是一种基于身体经验和感知的认知学科，旨在研究人类知觉、思想和行动的相互作用。
Multimodal Fusion（多模态融合）
热门推荐
nakaizura
03-28 20万+
Jeff Dean：我认为，2020年在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。 多模态融合 （Multimodal Fusion） 一般来说，每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所...
Domain Adaptation（领域自适应，MMD，DANN）
nakaizura
12-26 4万+
Domain Adaptation 现有深度学习模型都不具有普适性，即在某个数据集上训练的结果只能在某个领域中有效，而很难迁移到其他的场景中，因此出现了迁移学习这一领域。其目标就是将原数据域（源域，source domain）尽可能好的迁移到目标域（target domain），Domain Adaptation任务中往往源域和目标域属于同一类任务，即源于为训练样本域（有标签），目标域为测集域，其测试集域无标签或只有少量标签，但是分布不同或数据差异大，具体根据这两点可以划分为： homogeneous .
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值