【扩散模型学习1】Diffusion Model概念讲解

最新推荐文章于 2024-09-07 01:15:00 发布
最新推荐文章于 2024-09-07 01:15:00 发布
阅读量939 收藏 23
点赞数 26
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54098256/article/details/139349642
版权

参考学习资料：扩散模型 - Diffusion Model【李宏毅2023】_哔哩哔哩_bilibili

相关论文＆论文链接：

Denoising Diffusion Probabilistic Models (DDPM)：https://arxiv.org/abs/2006.11239

Stable Diffusion：https://arxiv.org/abs/2112.10752

DALL-E series：https//arxiv.org/abs/2204.06125、https//arxiv.org/abs/2102.12092

Imagen：https://imagen.research.google/、https://arxiv.prg/abs/2205.11487

目录

1. Diffusion Model是如何运作的：

1.1. reverse process：

1.1.1. denoise模块

1.1.1.1. denoise模块介绍：

1.1.1.2. 如何训练noise predictor模块

1.2. Forward Process（Diffusion Process）

2. 文字引导生成图片的diffusion model（Text-to-Image）

2.1 基本工作原理

2.2 denoise模块结构

2.3 如何训练

3. DDPM（Denoising Diffusion Probabilistic Models）

4. 常见影像生成模型

4.1. 基本架构

4.1.1. 文字的encoder

4.1.1.1. 指标介绍

4.1.1.2. 实验结果

4.1.2. decoder

4.1.3. generation model

4.1.3.1. forward process

4.1.3.2. 训练noise predicter：

4.1.3.3. reverse process

4.2. stable diffusion

4.3. DALL-E series

4.4. Imagen

1. Diffusion Model是如何运作的：

1.1. reverse process：

输入一张充满噪声的图——denoise——输出一张noise少的图——denoise——输出一张noise更少的图——denoise——……——输出清晰的图片（如图1所示）

图1 REVERSE PROCESS
  • 每张图的大小一致

1.1.1. denoise模块

  • denoise的次数是事先定好的，通常会有一个编号
  • 同一个denoise的model反复使用，但是输入不同，输入是图片+noise的严重程度（数字越大，noise越多），如图2所示
图2 denoise输入和输出
1.1.1.1. denoise模块介绍：
图3 denoise模块结构

如图3所示：

①Noise Predicter：用来预测输入的图片里面的noise长什么样，输出一张Noise的图

②输入的图片 - Noise图  = 输出denoise之后的结果

1.1.1.2. 如何训练noise predictor模块

思考：如图4所示，如何搞groundtruth？？？

图4 noise predicter训练需要的groundtruth从何而来
​

创造groundtruth：

如图5所示，清晰的图像——加噪声——有噪声的图像——加噪声——噪声更多的图像——加噪声——……——含很多噪声的图像

以上过程称为forward process/diffusion process

图5 创造gt

1.2. Forward Process（Diffusion Process）

图6 Forward Process（Diffusion Process）

常见数据集：

HW6（70k） ImageNet（1M） LAION（5.85B，里面有各种语言的文字描述和图像数据）

2. 文字引导生成图片的diffusion model（Text-to-Image）

2.1 基本工作原理

如图7所示，输入的图片+文字叙述不断去除噪声得到最终清晰的图片

图7 生成图片过程

2.2 denoise模块结构

如图8所示，多了一个额外的文字输入

图8 denoise模块

2.3 如何训练

如图9所示，加了一个描述

图9 训练noise predicter

3. DDPM（Denoising Diffusion Probabilistic Models）

原理如1.和2.所述

4. 常见影像生成模型

4.1. 基本架构

图10 Stable Diffusion 的三个模块
​​​​​​

如图10所示，stable diffusion由三个基本模块组成：

①text encoder：把文字叙述变为向量

②generation Model：通常用diffusion model作为generation model（用别的也可以），输入一个noise+文字生成的向量 产生一个 中间产物（是图片被压缩的版本，可以是人看得懂的小的、模糊的图片，也可以是人根本看不到的东西）

③decoder：从中间产物得到清晰的图片

通常三个模块分开训练，然后再组合起来

4.1.1. 文字的encoder

输入：文字

输出：文字的向量

图14(a) Imagen中的encoder实验结果
(b) Imagen中的diffusion model的实验结果
T5是encoder，用两个指标来验证好坏

4.1.1.1. 指标介绍

FID越小越好，CLIP越大越好

Frechet Inception Distance（FID），如图15所示:

  • https://arxiv.org/abs/1706.08500
  • CNN是一个用来分类的训练好的网络
  • 计算生成的图（蓝点）和真实的图（红点）距离，距离越小，FID越小，说明效果越好
  • 需要大量的图片才能算出比较准确的FID
图15 FID原理

Contrastive Language-Image Pre-Training（CLIP），如图16所示：

  • https://arxiv.org/abs/2103.00020
  • 是400个million的image-text pairs训练出来的模型
  • text encoder：读取文字作为输入产生一个向量
  • image encoder：读取一张图片作为输入产生一个向量
  • 如果图片和文字是成对的，两个向量越近越好；如果不是成对的，向量距离越远越好
图16 CLIP原理

4.1.1.2. 实验结果

encoder对结果的影响很大，可以看出encoder越大，图片的品质越好

diffusion model的大小对模型结果影响不大

4.1.2. decoder

输入：中间产物

输出：最终清晰的图片

训练数据不需要是成对的文字-图片对数据，只需要大量的影像就可以训练出来

decoder的输入是中间产物

如图17所示，中间产物是小图时，可以通过对groundtruth进行downsampling处理的到的小图作为中间产物

图17 中间产物为小图

如图18所示，如果中间产物是latent representation，

  • 可以训练一个auto-encoder将图片进行encoder得到latent representation，
  • 然后把latent representation作为输入经过一个decoder得到一张输出的图片，
  • 要让输入encoder的图片和decoder输出的图片越接近越好
  • 训练完成后直接把decoder拿出来用
图18 中间产物是latent representation

h和w分别是H和W做downsampling的结果，c是channel

4.1.3. generation model

输入：文字的向量+噪声

输出：中间产物

4.1.3.1. forward process

 如图19所示，不同于前面的介绍（前面是在图片上直接加噪），这里是：

  • 用encoder处理图片得到中间产物
  • 多次将noise加载中间产物上（小图/latent representation）
图19 再中间产物上逐步加噪
4.1.3.2. 训练noise predicter：
  • 如图20所示，输入是加了noise的中间产物、噪声程度和文字的向量
  • 输出是noise
图20 训练noise predicter的输入和输出
4.1.3.3. reverse process

如图21所示，对充满random noise的中间产物逐步进行denoise得到干净的中间产物作为decoder的输入

图21 reverse process

4.2. stable diffusion

图11 stable diffusion。

①encoder

②generation model采用diffusion model架构，x(T-1)部分生成中间产物z，中间产物是latent representation。

③decoder

4.3. DALL-E series

图12 dall-e系列模型

①encoder

②generation model：可以使用autoregressive model，也可以使用diffusion model，中间产物是latent representation

③decoder

4.4. Imagen

图13 Imagen架构

①encoder：用的是T5的encoder，如图14所示

②generation model：生成小图（中间产物是小图）

③decoder：也是diffusion的model，把小图生成大图

重生之我在CUC写代码
关注
扩散模型Diffusion Model原理与代码实例讲解
AI天才研究院
06-23 1193
扩散模型Diffusion Model原理与代码实例讲解 1.背景介绍 扩散模型（Diffusion Model）是近年来在生成模型领域中崭露头角的一种新型方法。它通过模拟数据的逐步演化过程，生成高质量的样本。与传统的生成对抗网络（GAN）和变分自编码器（VAE）相比
潜在扩散模型Latent Diffusion Model原理与代码实例讲解
AI天才研究院
06-15 746
潜在扩散模型Latent Diffusion Model原理与代码实例讲解 1.背景介绍 潜在扩散模型（Latent Diffusion Model, LDM）是近年来在生成模型领域中崭露头角的一种新型方法。它结合了扩散过程和潜在变量模型的优点，能够
Diffusion Model（扩散模型）
weixin_47772355的博客
12-29 7764
Diffusion
一文搞懂扩散模型Diffusion Models
机器学习社区
05-16 1853
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。本文将从扩散模型的本质_、扩散模型的原理、扩散模型的应用_三个方面，带您一文搞懂扩散模型 Diffusion Models。扩散模型Diffusion Models。
扩散模型（Diffusion Model）的详细介绍
u013889591的专栏
07-24 1200
扩散模型（Diffusion Model）是一类生成模型，通过模拟数据的逐步变化过程来生成高质量的数据样本。近年来，扩散模型在图像生成、自然语言处理等领域取得了显著的成果，成为生成对抗网络（GANs）和变分自编码器（VAEs）的有力竞争者。生成模型的目标是学习数据的分布，以便能够生成与训练数据相似的新样本。传统的生成模型如GANs和VAEs存在一些不足，如训练不稳定和生成样本质量有限。扩散模型通过引入随机扩散过程，提供了一种新的生成数据的方式，解决了这些问题。
一文弄懂 Diffusion Model
阿木寺的博客
11-26 1208
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—> 【扩散模型】微信技术交流群转载自：GiantPandaCV前言最近 AI 绘图非常的火，其背后用到的核心技术之一就是 Diffusion Model（扩散模型），虽然想要完全弄懂 Diffusion Model 和其中复杂的公式推导需要掌握比较多的前置数学知识，但这并不妨碍我们去理解其原理。接下来会以笔者所理解...
扩散模型(Diffusion Models)
Vpn_zc的博客
12-06 903
扩散模型(Diffusion Models)
扩散模型（Diffusion Models）
whaosoft143ai的博客
09-27 4674
▲ 该优化目标可以通过随机采样实现。 关于对证据下界的不同简化形式。其中我们提到第二种对噪声的近似是 DDPM 所采用的建模方式。但是对初始输入的近似其实也有论文采用。也就是上文提及的将扩散模型应用在可控文本生成的论文里[3]所采用的形式。该论文每轮直接预测初始 Word-embedding。而第三种 score-matching 的角度可以参照 SongYang 博士的系列论文[5]来看。里面的优化函数的形式用的是第三种。whaosoft aiot http://143ai.com
扩散模型： Diffusion Model概念讲解
u013308709的博客
01-06 1016
Diffusion Model 课件 视频 前向扩散过程 在原始图像中逐步添加高斯分布随机噪声，直到最后得到完全噪声的图像。 反向降噪过程 逐步去除噪声图中的噪声，得到最后原图。 根据噪声图和时间步得到预测的噪声，然后噪声图减去噪声得到原始图 噪声预测的标签来自于前向扩散过程中添加的噪声 DDPM算法流程 Stable Diffusion Model 与扩散模型对比，可以理解成stable diffusion model就是在latent space上的diffusion model
扩散模型 (Diffusion Model) 之最全详解图解
热门推荐
DFCED的博客
08-27 6万+
扩散模型 (Diffusion Model) 之最全详解图解
【AI】Diffusion Models
sikh_0529的博客
09-08 390
具有讽刺意味的是，扩散模型在图像中生成文本方面非常糟糕，尽管图像是根据文本提示生成的，而扩散模型可以很好地处理文本提示。“全身赛博朋克风格的雕塑，是一位年轻英俊的哥伦比亚王子半机器人，胸部开口，暴露出电路和电火花，发光的粉红色眼睛，蓝色花冠，流动的鲑鱼色丝绸，织物，猛禽。“极其详细的广角照片，大气，夜晚，反射，屡获殊荣的当代现代室内设计公寓客厅，舒适而平静，织物和纺织品，几何木雕，色彩缤纷的口音，反光黄铜和铜装饰，阅读角落，许多光源、灯具、涂油硬木地板、按颜色分类的书架、沙发、电视、书桌、植物”
扩散模型Diffusion Models
专业主义
11-03 540
扩散模型（diffusion models）是深度生成模型中新的SOTA。扩散模型在图片生成任务中超越了原SOTA：GAN，并且在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。此外，扩散模型与其他研究领域有着密切的联系，如稳健学习、表示学习、强化学习。然而，原始的扩散模型也有缺点，它的采样速度慢，通常需要数千个评估步骤才能抽取一个样本；它的最大似然估计无法和基于似然的模型相比；它泛化到各种数据类型的能力较差。
【CV】扩散模型（Diffusion Models）
sikh_0529的博客
05-24 451
2020 年底，一类鲜为人知的称为扩散模型的模型开始在机器学习领域引起轰动。研究人员弄清楚了如何使用这些模型生成质量高于以往技术的合成图像。随后出现了一系列论文，提出了改进和修改的建议，进一步提高了质量。到 2021 年底，像 GLIDE 这样的模型在文本到图像的任务上展示了令人难以置信的结果，几个月后，这些模型通过 DALL-E 2 和 Stable Diffusion 等工具进入了主流。这些模型使任何人都可以轻松地生成图像，只需输入他们想要看到的内容的文本描述即可。
Diffusion Models：生成扩散模型
m0_37046057的博客
08-04 7267
扩散模型（Diffusion Models）发表以来其实并没有收到太多的关注，因为他不像 GAN 那样简单粗暴好理解。不过最近这几年正在生成模型领域异军突起，当前最先进的两个文本生成图像——OpenAI 的 DALL·E 2和 Google 的 Imagen，都是基于扩散模型来完成的。...
扩散模型 Diffusion Models - 原理篇
CRwake的博客
07-15 3888
扩散模型 Diffusion Models - 原理篇
2021年度最火Diffusion Models：用于图像编辑和text引导图像生成的GLIDE
沉迷单车的追风少年
02-25 4650
2021年底OpenAI又推出重磅作品，基于Diffusion Models的图像编辑和text引导图像生成，短短两个月在github上收获了2k个star，要知道DDPM的开山之作开源两年也才区区300个star。GLIDE也为后来的更火的text-to-image任务DELLA·2奠定了基础，这篇博客就和读者们探讨一下这个2021年度最火Diffusion Models。...
扩散模型（Diffusion Model）简介
weixin_45657478的博客
09-25 7417
扩散模型（Diffusion Model）简介
【有啥问啥】什么是扩散模型（Diffusion Models）？
最新发布
Chauvin的博客
09-07 1778
扩散模型是一种概率生成模型，其生成过程可以被视为一个逐渐消除噪声的过程。具体来说，扩散模型通过模拟一个反向的马尔可夫链来逐步将噪声还原为目标数据。这个反向过程的基础是一个正向的扩散过程，在该过程中，数据逐渐被添加噪声，最终接近一个简单的分布（如标准高斯分布）。扩散模型的训练目标是学习这个反向过程，使得模型能够从纯噪声生成出逼真的样本。传送门链接:多维高斯分布（Multivariate Gaussian Distribution，MGD）的采样过程是什么样的？
【深度学习】扩散模型（Diffusion Model）详解
Danger的博客
03-03 1万+
【深度学习】扩散模型（Diffusion Model）详解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值