生成模型 | 从 VAE 到 Diffusion Model （下）

已于 2024-05-30 10:22:08 修改
阅读量1.1k 收藏 28
点赞数 18
分类专栏： 大模型论文系列 文章标签： 人工智能 生成式模型 扩散模型 OpenAI diffusion model DALLE 多模态模型
于 2024-05-27 14:11:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45842681/article/details/139167526
版权

🐧大模型系列篇章

💖 多模态大模型 🔎 GroundingDINO 论文总结
💖 端到端目标检测 🔎 从DETR 到 GroundingDINO
💖 多模态大模型 👉 CLIP论文总结
💖 多模态大模型 👉 EVA-CLIP
💚 生成模型 👉 从 VAE 到 Diffusion Model （上）
💚 生成模型 👉 从 VAE 到 Diffusion Model （下）
💧 天气大模型

欢迎订阅专栏，第一时间掌握最新科技
专栏链接

在这里插入图片描述

生成模型 | 从 VAE 到 Diffusion Model （上）的链接请点击下方蓝色字体: 上部分主要介绍了，GAN, AE, VAE, VQ-VAE, DALL-E

生成模型 | 从 VAE 到 Diffusion Model （上）

文章目录

我们先来看一下生成模型现在的能力

他能干什么：文生图，生成原有图像之外的新内容，修改图片，生成图片的变体

生成模型现在的能力示例
文生图在这里插入图片描述
生成原有图像之外的新内容在这里插入图片描述
修改图片在这里插入图片描述
生成图片的变体在这里插入图片描述
不同公司的生成式模型示例
之前的生成模型在这里插入图片描述
OpenAI在这里插入图片描述
stability ai在这里插入图片描述
Midjounery在这里插入图片描述

一，扩散模型

在训练的时候有两个过程：

  • 前向过程： 把 噪声 加到图片里面去， 直到图片变成一个纯纯的高斯分布的这么一个噪声。

  • 反向过程： 把高斯分布的这么一个噪声 一步步 的去噪，生成图片。

（扩散模型：是一个概率分布模型，他生成这个图片，是从分布里去采样的，所以他的多样性非常好，但是保真度比不过GAN）

数学上，简洁美观，正向，逆向都是高斯分布，所以能做很多推理证明。

如果我现在的输入是一个随机噪声Z（和GAN里面那个一样），找到一种方式，把噪声一点点恢复到最初的图片，就可以做图像生成了。通过这个反向过程来生成图像。

  • 我们随机抽样一个噪声，比如说Xt，那我就训练一个模型把它从Xt 还原回 Xt-1，一步一步这样倒退回来。
  • 抽样生成很多次，训练比较贵，推理也是最慢的一个。
  • 最原始的扩散模型T是选择了1000个step，如果你随机选择一个噪声，你要往前推1000步，一千次forword 一点一点把图像恢复回来。开销很大。
    在这里插入图片描述
    在这里插入图片描述

反向过程

这个reverse 反向模型长什么样呢？每一步的输入输出的图片大小保持不变，在这个情况下，diffusion model采取了一个非常常见的一个模型结构U-NET

在这里插入图片描述

U-NET

U-NET: 他的输入输出的特征图大小一样，我们用u-net来做这个噪声的预测

  • u-net就是一个CNN ，一点点把图像压小，然后解码一点点把图片恢复回来，前后两个图片尺寸大小是一样的。
  • 为了让恢复做的更好，还有一些skip connection, 这样能恢复一些细节。
  • 后来又对网络结构有了一些改进，比如加了attention，让模型生成变得更好。
  • 这里不一定要用u-net模型，但是大部分扩散网络都用了u-net

在这里插入图片描述

二，扩散模型的发展历程

1. Denoising Diffusion Probabilistic Model (DDPM) （2020.06）

贡献一

  • 以前大家都用Xt预测Xt-1，这让有点难，取而代之去预测这个噪声。
  • 同时这里面也加了time embedding，告诉模型这是我们现在走哪一步了。现在这个输出我是想要糙一点的还是想要细致一点的
    • 我们希望u-net在刚开始的反向过程中，可以生成物体大概的轮廓，一些很粗糙的图像，不需要很清晰，不需要很写实
    • 随着扩散模型往前走，我们希望模型还原图片的细节信息，比如物体的边边角角，物体细小的特征，让图片变得逼真。

目标函数

训练这个简单的目标函数，我们就把DDPM这个网络训练起来了。
在这里插入图片描述

贡献二

  • 如果你要预测一个正态分布呢，其实你只要学习他的均值和方差，就可以了
  • 作者这里发现，其实你只要去学均值就可以了，方差都不用学，方差变成一个常数，效果就很好了
  • DDPM降低了模型优化的难度，第一次能够用扩散模型，能够生成很好的图片，是扩散模型的开山之作

VAE 与 Diffusion Model的相似之处

  1. 编码器解码器的结构
  2. 对于扩散模型，每一步的中间过程，和刚开始的输入都是同样维度大小。对VAE来说，中间特征bottleneck 要比输入小很多
  3. 对扩散模型来说有步数的概念。从随机噪声开始要经过很多很多步才能生成一个图片，所以它有time embedding的概念。而且在所有的time step里所有的模型都是共享参数
  • 换一个角度看VAE 和 Diffusion Model
    • VAE 先用一个ENCODER， 把Image 变成 Latent presentation, 然后用一个Decoder 把 这个特征还原回图片。
    • 扩散模型，你可以把这个前向加噪的过程看成一个ENCODER, 这个encoder不是神经网络，不是学习得来的，而是固定好的，是人设计的。一直加噪，得到这么一个纯粹的噪声图片就像是人类看不懂的Latent presentation。然后把噪声还原的过程就是Decoder的过程。

在这里插入图片描述

2. Improved Denoising Diffusion Probabilistic Model (Improved DDPM) （2021.02）(OpenAI)

  • 之前的DDPM里面说，正态分布的方差呢，不用学，OpenAI觉得要是学了可能会更好，后来取样，生成的效果都不错
  • 更改了如何添加噪声的schedule，从一个线性的schedule, 变成了一个余弦的schedule。
  • 模型越大，图像生成更好。

3. Diffusion Model Beats GAN（2021.05) (OpenAI)

  • 把模型加大加宽，增加自注意力头的数量，变复杂
  • 新的归一化的方式，根据步数做自适应的归一化
  • classifier guidance的方法，引导模型做采样和生成，让生成的图片更加的逼真，同时加速了反向采样的速度。
    • 之前的扩散模型在计算FID等数值的时候，与GAN相比不具有竞争性，classifier guidance的方法, 提高了FID， INCEPTION SCORE。同时也提升了采样生成的速度。
    • classifier guided diffusion: 在训练模型的同时，再训练一个图像分类器，
      • 分类器的作用：当我有一个图片Xt,我把它扔给图片分类器，看他分类对不对，我就能算一个交叉熵目标函数，对应的呢就能得到一些 梯度，然后我用这个梯度来帮助模型进行采样和图片的生成。这里的梯度暗含了图片里面的物体，告诉U-NET我现在要生成的图片呢，要看起来更像某一类物体。
    • 在classifier guided diffusion 之后生成的图片逼真了很多
    • 这篇论文第一次把diffusion model的FID等评价指标得分打败了GAN
    • 相当于牺牲了一部分多样性，增加了 写实性。
  • 除了用classifier 当作指导信号，还可以用什么当作指导信号？除了梯度，还可以用 clip, image, text 做引导
  • 所有的这个方法有一个缺陷：需要用另外一个模型来做这个引导
    在这里插入图片描述

4. GLIDE（2021.) (OpenAI)

  • classifier free guidance
    • 不想要这些classifier了，能不能找到一种指导信号，让模型生成更好呢？
    • 让模型生成两个输出，一个是给定条件生成一个输出，另一个是不给条件生成一个输出。
      • 比如，给定的条件是text，生成一个输出，然后随机的不给条件，生成输出。假设我们现在有一个空间，刚才生成的图片分别是有条件生成的图片和没用条件生成图，那我们现在知道，有一个方向 让我们从无条件的输出，成为有条件得到的这个输出，通过训练，我们就会知道他们之间的差距大概是多少。最后在反向扩散图像生成的时候呢，我们能做出一个合理的推测，能从一个没有条件生成的输出，变成一个有条件生成的输出。这样就摆脱了分类器的限制。
    • 训练很贵，训练的时候生成两个输出。但是好用。是一个非常重要的技巧，从GLIDE, DALL-E.2 到Imagen都说这是一个非常好用的技巧。

在前面的所有发展历程的积累下，GLIDE模型是一个很好的根据文本生成图片的扩散模型了。只用了3.5B的参数，就直逼之前的DALL-E模型(12B参数)。所以OpenAI就不顺着之前DALL-E, 之前 VQ-VAE的方向去做了，就用扩散模型来做了。

5. DALL-E-2（2021.05) (OpenAI)

任务：给定文本去生成图像：

1. 先训练好一个clip模型， 找到图像和文本对之间的相连关系后
2. 然后把text变成text embedding, 训练一个prior 模型， 把text embedding 变成 image embedding
3. 然后用一个 decoder 把 image embedding 还原成图像

DALL-E2这种显示的生成图像特征的 提高了图片的 多样性， 他们这种基于 扩散模型 的解码器，能够根据给定的图片特征，生成不同的图片，同时保持语义信息和风格都是比较接近的，只是细节不一样。
因为这个是通过文本生成图像，所以很容易的通过clip做为中间的桥梁，从而达到这种图片编辑的功能。

在这里插入图片描述

  • 给定一个文本y, 恢复图像X。 他可以写成给定一个文本y, 然后生成图片对应的特征Zi,然后根据chain rule，就可以写成最后的式子了。’
  • 给定文本生成图片特征，给定y,Zi之后，用图像embedding去生成图像X就是decoder
    在这里插入图片描述

decoder

这里的decoder就是GLIDE模型的变体，他用了clip来作为guidance，也用了classifier-free guidance，能用的都用了。

为了产生高清大图，训练了两个扩散上采样模型，一个从64到256，一个模型从256到1024，

prior

给定一个文本，去生成一个图片的特征。

diffusion prior 作者训练了一个transformer decoder，因为他的输入输出是embedding，所以说用u-net就不太合适，直接上transformer去处理这个序列就可以了。

这里的输入有：文本，clip文本特征，time embedding, 加噪的clip图片特征，transformer自己的embedding(cls token)

最终这个embedding特征呢就拿去预测没有加过噪声的clip图片特征。

这里他不去预测噪声，直接去预测噪声图

简而言之，在GLIDE的基础上，加了prior，用了层级式的生成，最终做出了DALL-E.2。

三，文生图模型的总体架构

在这里插入图片描述
举几个例子：1. stable diffusion 2. DALL-E 系列 3. Imagen
用的trick都大不相同，总之就是大力出奇迹

模型模型流程示意图
Stable Diffusion
在这里插入图片描述
DALL-E 系列
在这里插入图片描述
Imagen在这里插入图片描述

Text Encoder

Text Encoder: 把文本特征 ——> 图片特征。

所以训练的数据需要大量的 图像-文本对

Imagen的实验说，Text Encoder 的模型越大，整个生成模型生成的图片越好。

相对而言，增大DIFFUSION MODEL 对 提升图片生成的效果有限

注：FID越小越好，他评估真实图片与生成图片的距离。 FID-10K的意思就是，他sample了10k数量的图片，来计算FID。

CLIP Score，越大越好， 说明生成的图片与文本联系度很高

在这里插入图片描述

Decoder

Decoder的作用：Image embedding → 还原成图片

  • Imagen这个模型的 Image embedding 是小图

在这里插入图片描述

  • stable diffusion, DALL-E 的Image embedding是一个 隐性的特征
    在这里插入图片描述
???/cy
关注
  • 18
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从VAE到Diffusion Models
沉迷单车的追风少年
11-27 7022
前言：前面几篇文章更多的在思考GAN和diffusion model之间的关系，VAE作为最经典的生成模型之一，本文从VAE出发，聊一聊VAE和diffusion model之间的爱恨情仇。 为什么diffusion model扩散模型可以称为score-based models？_沉迷单车的追风少年-CSDN博客 击败GANs的新生成式模型：score-based model(diffusion model)原理、网络结构、应用、代码、实验、展望_沉迷单车的追风少年-CSDN博客 Diffusio.
从VAE到Diffusion生成模型详解(1)：变分自编码器VAE
orangerfun的博客
07-13 630
什么是生成式模型给定训练集，产生与训练集同分布的新样本。如下图所示，希望学习到一个模型pmodelxpmodel​x，它与训练样本的分布pdataxpdata​x相近从下图可以更形象的解释，假设除了问号以外的都是真实数据，模型学习到的分布为整个椭圆以内的区域，那么从椭圆内采样任意一点（如问号）都可以生成一张对应的图片。注意其他图案对应的是真实数据，但是真实数据有限，因此通过学习一个分布就能通过采样生成无限张图片。
扩散模型diffusion model用于图像恢复完整可运行代码，附详细实验操作流程
02-10
1. 基于扩散模型实现的图像恢复代码，只需要修改数据集路径就可以在去雨、去雾、去雪等多个图像恢复任务上直接使用； 2. 附有详细的实验操作流程，以及参数路径等修改方法； 3. 代码训练和测试完整可运行； 4. 对于有需求的可以直接拿来在自己的任务上训练和测试； 5. 附有一些注释，其他地方不懂的可以参考博客https://blog.csdn.net/Wenyuanbo/article/details/128959995学习； 6. 附有 python 版本常用的 psnr 和 ssim 计算方法； 7. 敲代码不易，还请多多支持； 8. 若经济有限可以私聊我发邮箱。
DiffuseVAE：完美结合VAE和Diffusion Models
沉迷单车的追风少年
02-08 3628
前言：本专栏博文《从VAE到Diffusion Model_沉迷单车的追风少年-CSDN博客》讨论过VAEs和diffusion models之间的区别和联系。生成式模型的根本任务是捕捉底层的数据分布，并学习以无监督的方式从数据的显式/隐式分布中生成新的样本。本文介绍DDPM最新的研究成果DiffuseVAE，解决低维潜在空间上生成样本质量差、采样速度慢等问题。 目录 VAE简介 DDPM简介 VAE优缺点与DDPM的优缺点 VAE优缺点 DDPM优缺点 DDPM+VAE：完美结合两者优点.
Diffusion 扩散模型：论生成领先多样性，GAN太单一；论尊贵清晰度独占鳌头，VAE常失真
Debroon
12-11 2463
后来，Diffusion 扩散模型也是生成模型，且在图像生成上，优于 GAN 和 VAE。扩散模型在生成样本时采用了一种不同的方式，它通过在生成过程中逐渐扩散噪声来生成样本。相反，扩散模型只需要在生成过程中进行逐步的扩散操作，使生成的样本逐渐接近真实分布。加噪声和去噪声操作都是正态分布，网络的训练目标应该是让每对正态分布更加接近。扩散模型的训练过程也更加稳定，不需要像GAN那样同时训练生成器和判别器。最直观的想法，肯定是让两个正态分布的均值尽可能接近，方差尽可能接近。
Diffusion——与VAE、GAN的区别
Irving.Gao的博客
04-07 4712
AE与VAE的区别 AE通过Encoder产生了一个对输出和输出一一对应的embedding，因此它不具有生成能力； 而VAE是通过Encoder将输入投射在一个分布中，我们可以通过控制模型的参数从而控制模型的输出，因此它具有生成能力。 VAE、GAN、Diffusion model的区别 Diffusion
干货分享！让你通俗理解扩散模型
小白学视觉
06-22 689
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达还有谁没有看过diffusion的工作，席卷AI圈的diffusion到底是什么？本文作者用尽量通俗的描述向大家解释 diffusion 的来龙去脉。实验室最近人人都在做扩散，从连续到离散，从 CV 到 NLP，基本上都被 diffusion 洗了一遍。但是观察发现，里面的数学基础并不是模型应用的必须。其实大部分的研究者都不需...
简单易懂diffusion模型讲解 - 从前置知识深度生成模型 隐变量 VAE开始.pptx
01-16
Diffusion 模型讲解 - 从 VAE 到深度生成模型 Diffusion 模型 Diffusion 模型是一种深度生成模型，无监督学习方法，通过贝叶斯公式可以得到判别式模型。Diffusion 模型的主要难点在于如何进行概率密度估计和训练出...
扩散模型(diffusion model) （DDPM）处理表格数据的项目案例
05-22
最新的热门生成模型——扩散模型，大多被应用于处理图片数据。这里给出处理表格数据的项目案例。
AI绘图 Stable diffusion checkpoint模型 ckpt模型 vae模型 Counterfeit-V2.5
04-25
超级漂亮的二次元模型 擅长二次元女性创作 适合对AI绘图感兴趣的小白 ...把vae模型放在models\VAE\下 把embedding模型放在\embeddings\下 把lora模型放在 \extensions\sd-webui-additional-networks\models\lora\下
扩散模型-Diffusion Model 代码
02-29
扩散模型-Diffusion Model 代码
Recognize Anything: A Strong Image Tagging Model（RAM模型使用方法）
python_plus的博客
06-09 1102
详细介绍了RAM模型的使用方法
从GAN到WGAN（02/2）
最新发布
gongdiwudu的专栏
06-14 988
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
Meta首席AI科学家Yann LeCun指出生成式AI的不足
2301_79342058的博客
06-09 1472
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/在当今被誉为技术创新前沿的生成式AI领域，Meta首席AI科学家Yann LeCun提出了一个颠覆现状的观点。
人脸识别系统---人脸对比
2303_77278243的博客
06-14 636
def select_image(): #定义选择图片的函数#指明label_var不是一个局部变量也不是全局变量，而是外部函数s1的参数。这样，select_image函数就可以修改s1函数的参数#弹出选择文件的对话框，以及被选择文件的类型file_path = filedialog.askopenfilename(title="选择图片",filetypes=(("图片文件", "*.png;*.jpg;*.jpeg;*.bmp"),("所有文件", "*.*")))#如果选择了文件。
yolov10主要特点
yzf060109的专栏
06-14 647
以下是YOLOv10与其他模型的快速对比：YOLOv10-S：46.3 AP，2.49毫秒延迟YOLOv10-M：51.1 AP，4.74毫秒延迟YOLOv10-L：53.2 AP，7.28毫秒延迟YOLOv10-X：54.4 AP，10.70毫秒延迟这些改进使YOLOv10成为实时目标检测任务的首选，从自动驾驶到智能监控。与YOLOv9-C相比，YOLOv10-B（一个平衡的变体）延迟减少了46%，参数量减少了25%，同时保持了相同的性能水平。一对多分配：在训练过程中使用，以提供丰富的监督信号。
【讲解下目标追踪】
2301_81357485的博客
06-10 577
🏆近年来，随着深度学习的发展，基于深度学习的跟踪器已经取得了显著的性能提升，这些方法通常采用卷积神经网络（CNN）从大量带标签的数据中学习目标的特征表示，从而在各种复杂场景下都表现出强大的鲁棒性和准确性。🏆目标追踪是计算机视觉领域的一个重要问题，它旨在从视频序列中连续、自动地识别并跟踪一个或多个目标物体，目标追踪在许多实际应用中都有着广泛的应用，比如视频监控、运动分析、自动驾驶、人机互动和增强现实等。：随着时间的推移，目标的外观可能会发生变化，因此跟踪算法必须能够适应这些变化，可能需要定期更新目标的模型。
集成算法实验(Bagging策略)
weixin_50917576的博客
06-12 1052
Bagging：训练多个分类器取平均fx1/M∑m1M​fm​x全称： bootstrap aggregation（说白了就是训练一堆分类器）最典型的代表就是随机森林，现在Bagging模型基本上也是随机森林。随机：数据采样随机，；数据有多个特征(属性)组成，。随机是为了使得每个分类器拥有明显差异性。森林：很多个决策树并行放在一起如何对所有树选择最终结果？分类的话可以采取少数服从多数，回归的话可以采用取平均值。
vae到diffusion model
01-03
VAE（Variational Autoencoder）和Diffusion Model是两种不同的生成模型。 VAE是一种基于深度学习的生成模型，它通过神经网络学习数据的分布，并可以生成新的样本。VAE的基本思想是通过编码器将输入样本映射到潜在空间中的低维表示，然后通过解码器将低维表示映射回原始样本空间。VAE使用了变分推断来优化模型参数，通过最大化对数似然来学习样本的潜在分布。 Diffusion Model是一种基于概率模型的生成模型，它通过模拟粒子的弥散过程来生成样本。该模型假设在每个时刻，每个样本点会从周围的样本中随机选择一个作为其更新值，通过多次迭代，样本会逐渐从初始状态向整个样本空间弥散。Diffusion Model可以通过数学公式来描述样本的演化过程，其中包括扩散方程和噪声项。 两者的区别主要体现在生成样本的方式和模型结构上。VAE是通过神经网络编码和解码实现生成样本的过程，而Diffusion Model则是通过模拟样本的演化过程来生成样本。另外，VAE使用了变分推断和最大似然估计来优化模型参数，而Diffusion Model则通过解扩散方程和噪声项来描述样本的演化过程。 总的来说，VAE和Diffusion Model是两种不同的生成模型，分别利用深度学习和概率模型的方法来生成样本。它们在生成样本的方式和模型结构上有所不同，适用于不同的应用场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值