多模态MLLM都是怎么实现的（5）-Backbone, Unet or Transformer？从0搭建一个SD

最新推荐文章于 2024-11-01 13:39:49 发布
最新推荐文章于 2024-11-01 13:39:49 发布
阅读量705 收藏 15
点赞数 20
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingsoftcloud/article/details/136524734
版权

上一篇的链接：多模态MLLM都是怎么实现的（4）-去噪声 (qq.com)

上上一篇的链接： 多模态MLLM都是怎么实现的（2）-DDPM (qq.com)

上上上一篇的链接：多模态MLLM都是怎么实现的（2） (qq.com)

上上上上篇的链接：多模态MLLM都是怎么实现的（1） (qq.com)

      我保证这部分内容不会像前面那么枯燥。

      因为我们这部分不需要那么多数学。

      那我们就直奔主题，之前我讲过，Vit也好，Sora也好，它就不是一个模型，是由许多模型构成的。

      我们现在来看一下，这些模型是怎么排布的能形成一个完成的链条，首先我们来一个简单的。

      回顾一下上两节，我们已经完成了一个从照片加噪，到去噪重新还原到原图（接近）的前向和后向的逻辑算法的提炼。

图片

      但是这东西似乎没那么好玩，我需要给它一些指令，让它能根据我的指令来生成图片，或者说让它能够告诉我，这些图片描述了什么？是的，从某种上GPT-4V是Dall-E3的一个反向过程，这么理解是没问题的，虽然网络结构有点差距。

      回到我们的项目上来，我既然想完成一个文生图的动作，是不是不能光训练图片啊？至少得让网络知道把我对这些训练图片的理解，得一起塞进来吧！

      所以我们首先要有个文字的embedding模型，这玩意就不在这讲了，感兴趣得可以看我的Transformer的文章：

      小周带你读论文-2之"草履虫都能看懂的Transformer老活儿新整"Attention is all you need(1) (qq.com)

      现在我们具备了文字部分，我要训练一个encoder，让它能识别我对和它一对的图片（视频）的理解（Text），其实就是个Label

      在具备了文字的encoder以后，我们还需要一个东西，就是进行图片编码，其实这个和文字严格说没啥区别，只不过它被定义为叫patch，其实你就当token看就可以了，这部分内容在多模态MLLM都是怎么实现的（2） (qq.com)，Vit的部分里。

      还缺一个Backbone吧，这个Backbone的作用就是训练时做加噪音，去噪音。推理时纯去噪音的。

      基本的架子我们就搭起来了，如下图： 

图片

       这个东西能不能工作？我可以负责的说肯定可以工作，但是有一些问题，比如：

  • 你往Backbone里一直投喂1024*1024的图，你得有多些算力和显存，来做这个事情。

  • 又比如，你把一些图像和一些文字对应起来，那其他的你想生成的idea咋办，换句话说过拟合和鲁棒性缺失的风险。

  • 而且你要这么玩，推理速度你也受不了。

        我们能不能做个2段式的连招，比如？

        比如在这篇文章里，我们讲了VAE多模态MLLM都是怎么实现的（2） (qq.com)，就是一种图像对图像的压缩技术

    图片

       所以我们可以这么干，先训练处来一对VAE的encoder decoder，然后让他们先对图片组进行训练。最后就会得到一系列的正态分布（还真有人家不是生成code或者其他的，而是生成小图，比如Google家的imgGen）

图片

       进而，我们可以先让VAE去把像素空间Pixel Space，通过VAE给压缩到一个隐空间，或者叫潜在空间Latent Space,然后对潜在空间的Latent（被编码的code或者小图片）进行加噪，去噪。等推理的时候再由成对的VAE的decoder给解码出来，完成了训练效率和多样性的双重提升！

       好，我们现在把VAE给加进来。

图片

      加进来的网络就长这样子了，文字的encoder部分，我们没有变化，但是图像部分，我们不是输入给网络一个完整的样张，其实是加了噪的latent，实际的训练中，VAE的encoder和decoder可以独立于网络训练完，然后加网络里继续训练Backbone。

      下一个问题Backbone用啥，鉴于社会主义初级阶段，我们Backbone先用以前比较通用的Unet。

       

图片

      为啥用Unet，这块大家也别深究了，后面我们考虑为啥不用它，用它原因就是简单，而且这个进出的stageU字型对称，也特别符合扩散模型从大了压缩小，从小了扩散大的特点，仅此而已。官方一点的说法就是，稠密预测任务，就像图像分割，图像去噪一样。这些传统的稠密预测任务UNet已经有了很牛B了，在新任务上自然也就沿用下来了。

      还有一个搞笑的Tips,SDXL的Backbone也叫Unet，结果你去看看，好几十层的Transfomer....

图片

,这块也没必要说那么细，自己体会...

        这个模式也叫做Latent Diffusion，又叫LDM，这玩意也是Stable Diffusion SD的组网总思路。

图片

      

        如上图所示（别看上面那条线，那个是加噪，从右往左看下面的逻辑），是一个推理过程中的范例，右边部分，加了噪的latent，semantic Map，分辨率,Text文本这些东西我们都称其为条件，在条件具备的情况一起以conditioning（先决条件）的限制，经过Backbone绿色的部分，通过去噪，最终生成一个去了噪的Latent，然后通过decoder给解码成我们想要的比例的图片（视频），Tips：这里QKV别当Transformer啊，Unet一样可以做Attention甚至MHA机制。

图片

        这章就写这么多，看来得下一章能进Vit，Vivit，Navit
 

     

图片

周博洋K
关注
3D目标检测多模态融合算法综述
3D视觉工坊
09-09 3057
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达本文转载自「计算机视觉工坊」，该公众号重点在于介绍深度学习、智能驾驶等领域，一个小众的公众号。0前言本篇文章主要想对目前处于探索阶段...
多模态大模型(MLLM)架构篇：LLM Backbone
m0_59235245的博客
08-22 1200
在MLLM中作为大脑的关键模块是大语言模型（LLM），与从头开始训练一个LLM相比，使用预训练的模型更为高效和实用。通过在网络语料库上的大规模预训练，LLMs已经嵌入了丰富的世界知识，并展现出强大的泛化和推理能力。大语言模型（LLM）发展时间线。
AI多模态模型架构之LLM主干(1)：ChatGLM系列
AIGCmagic的博客
06-13 1633
模态编码器(Modality Encoder, ME)：负责将不同模态的输入编码成特征。常见的编码器包括图像的NFNet-F6、ViT、CLIP ViT等，音频的Whisper、CLAP等，视频编码器等。输入投影器(Input Projector)：负责将其他模态的特征投影到文本特征空间，并与文本特征一起输入给语言模型。常用的投影器包括线性投影器、MLP、交叉注意力等。语言模型骨架(LLM Backbone)：利用预训练的语言模型，负责处理各种模态的特征，进行语义理解、推理和决策。
华为 | 探索大语言模型(LLM)下的推荐系统！
机器学习算法与Python学习
12-15 416
点击机器学习算法与Python学习，选择加星标精彩内容不迷路本文从应用视角出发，尝试把大语言模型中的一些长处放在推荐系统中。主要内容包括以下五大部分：背景和问题何处运用大语言模型（Where）如何运用大语言模型（How）挑战和展望Q&A分享嘉宾｜唐睿明 华为技术有限公司诺亚-推荐与搜索实验室主任编辑整理｜王露露内容校对｜李瑶出品社区｜DataFun01背景和问题传统的推荐模...
AI多模态模型架构之LLM主干(2)：Qwen系列
AIGCmagic的博客
06-15 1695
模态编码器(Modality Encoder, ME)：负责将不同模态的输入编码成特征。常见的编码器包括图像的NFNet-F6、ViT、CLIP ViT等，音频的Whisper、CLAP等，视频编码器等。输入投影器(Input Projector)：负责将其他模态的特征投影到文本特征空间，并与文本特征一起输入给语言模型。常用的投影器包括线性投影器、MLP、交叉注意力等。语言模型骨架(LLM Backbone)：利用预训练的语言模型，负责处理各种模态的特征，进行语义理解、推理和决策。
多模态MLLM都是怎么实现的（6）-Dit Diffusion Transformer
周博洋的博客
03-08 1093
FID-10K，就是每10万张的图片的FID的测试结果，我们发现它还有clip score这两个评测值，都主要和两个因素最相关，一个是encoder的size，encoder这里指的是文字encoder，所以Dalle3和Sora为啥牛B，因为有GPT-4当encoder，虽然不是直接当，这个下节课讲。右边蓝色的部分就是关于被加噪的latent要被生成什么样的解析率，什么样的内容的图片（视频）的描述，包括要跑多少个step，然后过文字的Token化，这部分也是我们之前讲过的所谓Condition，条件项。
多模态MLLM都是怎么实现的(8)-GPT4V和Blip
周博洋的博客
04-17 830
第三步，把互联网标注的语料，拿ITC，和ITM给过滤了，错的，我就不要了，只留下好的，就是Tw的绿色部分，另外没有标注的互联网图片，用LM来标注成Ts，一起混合成新的数据，再和老的数据，重新灌注给模型的变成新的pretrain，完成下一个ephco，周而复始，把不断迭代优化Loss。第一阶段，拿clip 的image encoder来训练，冻结住LLM，经过一个W的project转换（可以理解为线性层的矩阵对齐），说白了，就是一个线性层，image转换embedding的层W。
多模态MLLM都是怎么实现的(7)-Sora
周博洋的博客
03-09 1111
我个人认为也算，比如你小时候对一个字记住怎么写，那不也是你多次接触的结果吗？好玩的来了，我虽然被拉到了一个向量里，这里面我加了2层（实际上是多层，逻辑上2层）mask过的线性层，一个是self-attention层（但是只算QK），一个是pooling层（QKV之前的pooiling），虽然这三个图的patches都在一个向量里，但是因为mask的存在，我们还是能各算各地，比如算1就mask2和3，然后最终完成QKV的计算，还能保证虽然大家在一个向量里，可是分别计算，没有混乱。
【极速前进】20240615-20240623：Zipper融合模态、VideoLLM视频理解、WebAgent可以自我改善、Nemotron-4、AnyGPT统一模态
bqw的博客
06-23 1316
将多个不同模态的基础模型合并成优于各个部分的大模型非常有挑战；两个关键挑战：(1) 对齐数据的可用性；(2) 如何在跨领域生成任务中利用单模态表示且不损坏原始能力；本文提出称为Zipper的多塔解码器架构，利用交叉注意力来从独立预训练单模态解码器构成多模态生成模型；在语音和文本融合实验中，本文提出的架构表示非常好；Zipper具有很好的灵活性，冻结相应模态来选择性地保持单模态生成能力；​ VideoLLM的目标是通过参数高效迁移学习将LLM应用在视频序列理解人物上。
基于transformer的多模态异常检测项目-使用的多模态数据集(10种).zip
07-26
基于transformer的多模态异常检测项目-使用的多模态数据集(10种).zip基于transformer的多模态异常检测项目-使用的多模态数据集(10种).zip基于transformer的多模态异常检测项目-使用的多模态数据集(10种).zip基于...
LLM - 理解 多模态大语言模型(MLLM) 的 发展(Timeline) 与相关技术 (一)
Mystra
09-09 1153
多模态大语言模型 (Multimodal Large Language Models, MLLM)，例如 GPT-4V，使用 大语言模型 (LLM) 作为内核，执行多模态任务。常见多模态任务，包括看图讲故事、不需要 OCR 的数学推理等，同时，需要注意多模态 幻觉 (Hallucination) 的问题，以及扩展的多模态技术，如 多模态的上下文学习 (In-Context Learning)，多模态的思维链 (Chain of Thought) 等。
LLM - 理解 多模态大语言模型(MLLM) 的 预训练(Pre-training) 与相关技术 (三)
Mystra
09-12 1090
完备(Full-Fledged) 的 多模态大语言模型(MLLM) 经历 3 个阶段的训练，即 预训练(Pre-training)、指令微调(Instruction-Tuning) 和 对齐调优(Alignment Tuning)。每个训练阶段都需要不同类型的数据，并且实现不同的目标。本篇介绍，预训练(Pre-training) 部分。
LLM - 理解 多模态大语言模型(MLLM) 的 评估(Evaluation) 与相关技术 (六)
Mystra
09-19 1299
评估(Evaluation) 是研发 多模态大语言模型(MLLM)的重要部分，为模型优化提供反馈，有助于比较不同模型的性能。与传统多模态模型的评估方法相比，MLLM 评估表现的特点包括，由于 MLLM 通常具有通用性，因此全面评估 MLLM 非常重要。MLLM 展现出许多 涌现(Emergent) 能力，需要特别关注，例如，无需 OCR 的数学推理，因此需要新的评估方案。根据问题类型，MLLM 的评估可以分为两个大类，即 封闭集(closed-set) 和 开放集(open-set)。
LLM - 理解 多模态大语言模型(MLLM) 的 架构(Architecture) 与相关技术 (二)
Mystra
09-09 1165
多模态大语言模型 (Multimodal Large Language Models, MLLM) 框架包括 3 个部分：预训练的模态编码器、预训练的 大语言模型(LLM)、连接模态的 接口(Interface)，也可以添加可选的 生成器(Generator) 到 LLM，用于生成除了文本之外的其他模态。
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 954
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
数据预处理：为 AI 准备 “优质食材” 的重要步骤
JiexianYao的博客
10-31 525
AI模型数据处理
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
最新发布
vickynesss的博客
11-01 139
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 1805
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值