NExT-GPT：Any-to-Any 多模态大模型

已于 2024-08-10 16:19:20 修改
阅读量862 收藏 6
点赞数 25
文章标签： gpt 人工智能
于 2024-08-08 18:20:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_73611281/article/details/141030262
版权

NExT-GPT: Any-to-Any Multimodal LLM
时间：2023.9
论文：https://arxiv.org/abs/2309.05519
代码：https://github.com/NExT-GPT/NExT-GPT

一、背景

之前的多模态大模型（MM-LLM）大多局限于仅感知多模态数据，而没有以任意模态生成内容的能力

为了使LLM能够具有多模态输入和输出，一些努力探索了采用LLM作为决策者，并利用现有的现成的多模态编码器和解码器作为工具来执行多模态输入和输出

二、现存问题

（1）不同模块之间的信息传输完全基于LLM产生的离散文本，其中级联过程不可避免地引入噪声并传播错误
（2）整个系统只利用现有的预训练工具进行推理，由于缺乏全面的端到端培训（跨整个系统的综合调整），内容理解和多模式生成的能力可能非常有限，特别是在解释复杂和隐含的用户指令方面

三、创新点

  1. 第一次提出一个端到端通用的 Any-to-Any MM-LLM，命名为NExT-GPT，能无缝处理四种模式任何组合的输入和输出：文本，图像，视频和音频
  2. 引入了轻量级对齐学习技术
    编码端 --> 采用LLM为中心的对齐
    解码端 --> 采用遵循规则的对齐
    有效地只需要最小的参数调整（仅1%的参数），同时保持高效的语义对齐
  3. 注释了高质量的模态切换指令调优 (MosIT) 数据集，涵盖文本、图像、视频和音频的各种模态组合中的复杂指令

四、模型

1. 整体架构

在这里插入图片描述

NExT-GPT的系统配置具体如下所示

在这里插入图片描述
155M(=28+33+31+31+32) / [155M + 12.275B(=1.2+7+1.3+1.8+0.975)]
即只有1%的参数需要被更新

(1) 多模态编码阶段

利用已建立的编码器对各种模态的输入进行编码，这些表示通过投影层被投影成LLM可理解的类似语言的表示（此处应用跨六种模态的统一高性能编码器 ImageBind）

ImageBind: One Embedding Space to Bind Them All
论文：https://openaccess.thecvf.com/content/CVPR2023/html/Girdhar_ImageBind_One_Embedding_Space_To_Bind_Them_All_CVPR_2023_paper.html
代码：https://github.com/facebookresearch/ImageBind
在这里插入图片描述
一种学习联合嵌入六种不同模式-图像、文本、音频、深度、热学和IMU数据的方法
其研究表明，训练这样的联合嵌入并不需要所有配对数据的组合，并且只有图像配对数据足以将模态绑定在一起

(2) LLM理解与推理阶段

利用现有的开源LLM作为核心来处理输入信息，以进行语义理解和推理（此处应用基于文本的 Vicuna (7B-v0)）

Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality
时间：2023
代码：https://github.com/lm-sys/FastChat

该模块输出：
A. 直接的文本响应
B. 唯一的“模态信号”标记，其用作指示解码层是否生成多模态内容以及如果是则产生什么内容的指令。

(3) 多模式生成阶段

投影后产生的具有特定指令的多模态信号被路由到不同的编码器（基于潜在条件扩散模型），并最终生成相应模态的内容

2. 轻量级多模态对齐学习

为了弥合不同模态的特征空间之间的差距，并确保对不同输入的流畅语义理解，必须对NExT-GPT执行对齐学习

(1) 编码端：以LLM为中心的多模态对齐

大多数现存MM-LLM，通过线性层直接将多模态特征投影到文本特征空间中，从而将多模态特征转换为核心LLM可理解的特征
在这里插入图片描述

(2) 解码端：指令跟随对齐

集成了来自外部资源的预训练条件扩散模型，主要目的是将扩散模型与LLM的输出指令对齐

扩散模型生成仅以面向文本的表示为条件的内容，这导致了一个缺口，该缺口阻止了扩散模型准确地解释来自LLM的指令

作者考虑将LLM的模态信号令牌表示（在每个基于变换器的项目层之后）作为去噪过程中的条件输入，以引导扩散模型生成适当的图像、视频或音频；另一方面，我们也提出最小化投影信号记号表示与扩散模型的条件文字表示之间的距离，以加速比对学习

该论文设计了三种类型的特殊令牌，而不是输出简单的文本指令，具体如下所示

“[IMGi]”（i = 0，· · ·，4）作为图像信号令牌
“[AUDi]”（i = 0，· · ·，8）作为音频信号令牌
“[VIDi]”（i = 0，· · ·，24）作为视频信号令牌

在这里插入图片描述
这些令牌隐含地携带用于下游扩散模型的丰富且灵活的指令

如果LLM标识要产生的特定模态内容，则将输出指示该模态的激活的特殊类型的令牌；否则，没有特殊令牌输出意味着该模态的停用

3. 模态切换指令调优（MosIT）

(1) 指令调优（IT）

在这里插入图片描述
我们利用LoRA，以使NExT-GPT内的一小部分参数能够在指令调优阶段期间与两层投影同时更新

指令调优对话样本被馈送到系统中时，LLM重构并生成输入的文本内容（并用多模态信号令牌表示多模态内容），基于黄金注释（Gold Annotation）和LLM的输出进行优化

除了LLM调优之外，还对模型解码端进行了微调。具体来说，将由输出投影编码的模态信号标记的表示与由扩散条件编码器编码的黄金多模态说明表示对齐

全面的调优过程更接近于与用户进行忠实和有效交互的目标

(2) 指令数据集

五、实验

Sarrey
关注
  • 25
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
NExT-GPT: Any-to-Any Multimodal LLM
01-20
NExT-GPT：Any-to-Any Multimodal LLM NExT-GPT是一种Any-to-Any Multimodal语言模型（LLM），旨在解决现有视觉语言模型受到多模态输入端理解的限制，无法以多种模态生成内容的问题。该模型通过将LLM与多模态适配器...
CDial-GPT:大规模中文短文本对话数据集和中文预训练对话模型
03-18
CDial GPT本项目提供了一个大规模中文对话数据集，并提供了在此数据集上的中文对话预训练模型（中文GPT模型），更多信息可参考我们的。本项目代码修改自 ，使用了HuggingFace Pytorch版的库，可用于预训练与微调。...
NExT-GPT: Any-to-Any Multimodal LLM 阅读学习
weixin_42323588的博客
09-17 644
虽然多模态大语言模型（MM-LLMs）最近取得了令人振奋的进展，但它们大多受限于只能理解输入端的多模态，而无法生成多种模态的内容。由于人类总是通过各种模式感知世界并与人交流，因此开发能够接受和提供任何模式内容的 "任意对任意 "MM-LLM 对人类级人工智能至关重要。为了填补这一空白，我们提出了一种端到端的通用任意 MM-LLM 系统 NExT-GPT。我们将 LLM 与多模态适配器和不同的扩散解码器连接起来，使 NExT-GPT 能够感知输入，并以文本、图像、视频和音频的任意组合生成输出。
NExT-GPT: Any-to-Any Multimodal LLM（NExT-GPT：任意对任意多模态LLM）
qq_46094659的博客
02-22 994
虽然最近多模态大型语言模型（MM-LLM）取得了令人兴奋的进步，但它们大多受到仅的限制，而无法。由于我们人类总是通过各种方式感知世界并与人们交流，因此开发能够以任何方式接受和输出内容的任意 MM-LLM 对于人类水平的人工智能至关重要。因此，本论文提出了一个端到端通用的任意 MM-LLM 系统 NExT-GPT。论文将 LLM 与和不同的连接起来，使 NExT-GPT 能够感知输入并以文本、图像、视频和音频的任意组合生成输出。通过利用现有训练有素的高性能编码器和解码器，NExT-GPT仅使用某些。
NExT-GPT: Any-to-Any Multimodal LLM论文笔记
Nick Blog
09-20 1709
对于特定模态的指令，调用对应模态的Projection模块以及相应的开源Diffusion解码器 (Stable Diffusion (SD) for image synthesis, Zeroscope for video synthesis, and AudioLDM for audio synthesis) 生成对应输出。整个MM-LLM系统中，Encoder、LLM、Diffusion都是现成的开源预训练模型，只有输入端和输出端的Projection模块需要训练，只有1%的参数需要更新。
NExT-GPT: 任意-对-任意多模态大语言模型
yorkhunter的博客
06-20 899
23年9月论文“NExT-GPT: Any-to-Any Multimodal LLM“，来自新加坡国立大学。
Next-GPT: Any-to-Any Multimodal LLM
qq_39352201的博客
01-20 714
最近在调研一些多模态大模型相关的论文，发现Arxiv上出的论文根本看不过来，遂决定开辟一个新坑《一页PPT说清一篇论文》。自己在读论文的过程中会用一页PPT梳理其脉络和重点信息，旨在帮助自己和读者快速了解一篇论文。
多模态大语言模型调研《MM-LLMs: Recent Advances in MultiModal Large Language Models》简要介绍
qq_37261357的博客
04-03 1111
题目：MM-LLMs: Recent Advances in MultiModal Large Language Models论文：https://arxiv.org/pdf/2401.13601.pdf?项目主页：https://mm-llms.github.io/GPT诞生以来，一向以强大的自然语言处理能力而著称，人们试着将大型语言模型（Large Language Models，LLM）的强大推理和生成能力在除文本以外的模态数据上应用起来。例如图像、视频、音频、3D点云等。
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-27 3205
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
【LLM多模态】InternVL模型架构和训练过程
发现问题，并解决问题，批判性思维
07-13 1833
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
开启多模态新纪元：NExT-GPT 让“任督二脉”畅通无阻
gitblog_00569的博客
08-12 252
开启多模态新纪元：NExT-GPT 让“任督二脉”畅通无阻 NExT-GPTCode and models for NExT-GPT: Any-to-Any Multimodal Large Language Model项目地址:https://gitcode.com/gh_mirrors/ne/NExT-GPT 引言 在人工智能领域，模型的多模态理解与生成能力一直被视为技术发展的重要里程碑。近...
NExT-GPT 是一个端到端通用的任意多模态大型语言模型（MM-LLM）系统
11-12
NExT-GPT 是一个端到端通用的任意多模态大型语言模型（MM-LLM）系统。该存储库托管了 NExT-GPT 的代码、数据和模型权重，NExT-GPT 是第一个端到端的 MM-LLM，它以文本、图像、视频和音频等的任意组合（任意到任意）...
image-gpt:OpenAI图像GPT的PyTorch实现
04-13
图片GPT 图像GPT的PyTorch实施基于像素的纸张生成式预训练和随附的。 模型生成的来自测试集的半图像的完成。 输入第一列； 最后一栏是原始图片 iGPT-S已在CIFAR10上进行了预培训。 由于该模型仅在CIFAR10而非所有...
Chat-GPT：聊天机器人的未来之路
04-02
GPT（Generative Pre-trained Transformer）是由OpenAI开发的一种预训练生成式自然语言处理（NLP）模型。通过强大的预训练能力，GPT能够理解语言、生成文本，为聊天机器人提供了强大的语言处理能力。 二、Chat-GPT的...
8B 端侧小模型 | 能力全面对标GPT-4V！单图、多图、视频理解端侧三冠王，这个国产AI开源项目火爆全网
u012374012的专栏
08-13 363
这两天， Github上一个 国产开源AI 项目杀疯了！一开源就登上了 Github Trending 榜前列，一天就获得将近600 star。这个项目就是国内大模型四小龙之一面壁智能最新大打造的它再次刷新端侧多模态天花板，仅8B参数，更有：小钢炮一口气将它端侧友好，量化后端侧 6G 内存即可使用；端侧推理速度高达 18 tokens/s，相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理；且支持多种语言。
GPT损失和是模型模型是否真的学会(困惑度）。
一休
08-12 566
gpt预测过程，损失，模型学得好不好的，困惑度
GPT-5 一年半后发布？对此你有何期待？
WSH2012ffff的博客
08-12 732
本文对GPT-5进行了深入的分析和探讨，从发布时间、特点能力、是否达到AGI等三个方面，给出了自己的看法和判断。我们认为，GPT-5是一个非常值得期待和关注的人工智能系统，它将给我们带来许多惊喜和挑战。但我们也不应该盲目地崇拜或恐慌它，而应该理性地评估和利用它。最后，我们想问你一个有趣的问题：如果GPT-5真的能达到AGI的水平，你会怎么做？你会和它做朋友吗？你会和它聊天吗？你会和它合作吗？你会和它竞争吗？你会和它相爱吗？请在评论区留下你的答案吧。请给我一个赞吧！
GPT-4o mini发布，轻量级大模型如何颠覆AI的未来？
最新发布
2401_82452722的博客
08-13 344
随着技术的进步和市场需求的增长，未来的大模型将趋向于更高的效率、更轻量的设计以及更广泛的可及性。面壁智能的刘知远教授认为，2023年ChatGPT和GPT-4的推出表明大模型技术路线已经基本确定，接下来的重点是探索其科学机理，并极致地优化效率。大模型进入市场竞争的新阶段，如何打动用户不仅依赖技术实力的展示，还需要证明模型在性能相当的情况下更加小巧、经济，更具性价比。这些技术实现方法通过不同的方式优化模型，使其在资源受限的环境中也能保持良好的性能和效率，推动了轻量级大模型在各种应用场景中的广泛应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sarrey

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值