一文弄懂 Diffusion Model

最新推荐文章于 2024-07-24 10:40:37 发布
最新推荐文章于 2024-07-24 10:40:37 发布
阅读量1.3k 收藏 5
点赞数 2
原文链接：https://mp.weixin.qq.com/s?__biz=MzIyOTkyOTEzOQ==&mid=2247497491&idx=2&sn=134a608e65acc9b4ad3fc5493105689a&chksm=e8b98ecfdfce07d9ed449776589848fc75c5eeb19573d0651e651fb7297db20be41b6402fa4f&scene=126&&sessionid=0
版权

前言

最近 AI 绘图非常的火，其背后用到的核心技术之一就是 Diffusion Model（扩散模型），虽然想要完全弄懂 Diffusion Model 和其中复杂的公式推导需要掌握比较多的前置数学知识，但这并不妨碍我们去理解其原理。接下来会以笔者所理解的角度去讲解什么是 Diffusion Model。

什么是 Diffusion Model

前向 Diffusion 过程

Diffusion Model 首先定义了一个前向扩散过程，总共包含T个时间步，如下图所示：

19a85c254e2a5cfc7bc0f3b30ed4e1f6.png

最左边的蓝色圆圈 x0 表示真实自然图像，对应下方的狗子图片。

最右边的蓝色圆圈 xT 则表示纯高斯噪声，对应下方的噪声图片。

最中间的蓝色圆圈 xt 则表示加了噪声的 x0 ，对应下方加了噪声的狗子图片。

箭头下方的 q(xt|xt-1) 则表示一个以前一个状态 xt-1 为均值的高斯分布，xt 从这个高斯分布中采样得到。

所谓前向扩散过程可以理解为一个马尔可夫链（见参考资料[7]），即通过逐步对一张真实图片添加高斯噪声直到最终变成纯高斯噪声图片。

那么具体是怎么添加噪声呢，公式表示如下：

54fa0cbfd98d41ec78bb2e01248fe4ac.png

也就是每一时间步的 xt 是从一个，以 1-βt 开根号乘以 xt-1 为均值，βt为方差的高斯分布中采样得到的。

其中βt, t ∈ [1, T] 是一系列固定的值，由一个公式生成。

在参考资料 [2] 中设置 T=1000, β1=0.0001, βT=0.02，并通过一句代码生成所有 βt 的值：

# https://pytorch.org/docs/stable/generated/torch.linspace.html
betas = torch.linspace(start=0.0001, end=0.02, steps=1000)

然后在采样得到 xt 的时候并不是直接通过高斯分布 q(xt|xt-1) 采样，而是用了一个重参数化的技巧（详见参考资料[4]第5页）。

简单来说就是，如果想要从一个任意的均值 μ 方差 σ^2 的高斯分布中采样

e05e5aa02de41335a0cceb15360fad63.png

可以首先从一个标准高斯分布（均值0，方差1）中进行采样得到 ε，

然后 μ + σ·ε 就等价于从任意高斯分布中进行采样的结果。公式表示如下：

783bb9fdc2d54a3cc62e16e875039d65.png

接着回来看具体怎么采样得到噪声图片 xt呢，

831e4ddace591a182d63976f98de4c9a.png

也是首先从标准高斯分布中采样，接着乘以标准差再加上均值 ，伪代码如下：

# https://pytorch.org/docs/stable/generated/torch.randn_like.html
betas = torch.linspace(start=0.0001, end=0.02, steps=1000)
noise = torch.randn_like(x_0)
xt = sqrt(1-betas[t]) * xt-1 + sqrt(betas[t]) * noise

然后前向扩散过程还有个属性，就是可以直接从 x0 采样得到中间任意一个时间步的噪声图片 xt，公式如下：

0dcf36660fbd13424f6608ae612da15f.png

其中的 αt 表示：

7cf75eef8a1b3f413e20fcc37bc2fa44.png 11fd384e5208766048b9ea66c9d81453.png

具体怎么推导出来的可以看参考资料[4] 第11页，伪代码表示如下：

betas = torch.linspace(start=0.0001, end=0.02, steps=1000)
alphas = 1 - betas
# cumprod 相当于为每个时间步 t 计算一个数组 alphas 的前缀乘结果
# https://pytorch.org/docs/stable/generated/torch.cumprod.html
alphas_cum = torch.cumprod(alphas, 0)
alphas_cum_s = torch.sqrt(alphas_cum)
alphas_cum_sm = torch.sqrt(1 - alphas_cum)

# 应用重参数化技巧采样得到 xt
noise = torch.randn_like(x_0)
xt = alphas_cum_s[t] * x_0 + alphas_cum_sm[t] * noise

通过上述的讲解，读者应该对 Diffusion Model 的前向扩散过程有比较清晰的理解了。

不过我们的目的不是要做图像生成吗？

现在只是从数据集中的真实图片得到一张噪声图，那具体是怎么做图像生成呢？

反向 Diffusion 过程

b92cf93e35f8108ef2ad6dc457f02449.png

反向扩散过程 q(xt-1|xt, x0) （看粉色箭头）是前向扩散过程 q(xt|xt-1) 的后验概率分布。

和前向过程相反是从最右边的纯高斯噪声图，逐步采样得到真实图像 x0。

后验概率 q(xt-1|xt, x0) 的形式可以根据贝叶斯公式推导得到（推导过程详见参考资料[4]第12页）：

20893a0bd2f4316fa737213b16fd50f0.png

也是一个高斯分布。

其方差从公式上看是个常量，所有时间步的方差值都是可以提前计算得到的：

fa2be5f01d78d0e22d7ffd7ca04aabc2.png

计算伪代码如下：

betas = torch.linspace(start=0.0001, end=0.02, steps=1000)
alphas = 1 - betas
alphas_cum = torch.cumprod(alphas, 0)
alphas_cum_prev = torch.cat((torch.tensor([1.0]), alphas_cum[:-1]), 0)
posterior_variance = betas * (1 - alphas_cum_prev) / (1 - alphas_cum)

然后看均值的计算，

675faca5ec2727d78b8deb40768cf9ff.png

对于反向扩散过程，在采样生成 xt-1 的时候 xt 是已知的，而其他系数都是可以提前计算得到的常量。

但是现在问题来了，在真正通过反向过程生成图像的时候，x0 我们是不知道的，因为这是待生成的目标图像。

好像变成了鸡生蛋，蛋生鸡的问题，那该怎么办呢？

Diffusion Model 训练目标

当一个概率分布q 求解困难的时候，我们可以换个思路（详见参考资料[5,6]）。

通过人为构造一个新的分布 p，然后目标就转为缩小分布 p 和  q 之间差距。

通过不断修改 p  的参数去缩小差距，当 p 和 q 足够相似的时候就可以替代 q 了。

然后回到反向 Diffusion 过程，由于后验分布 q(xt-1|xt, x0) 没法直接求解。

f155ef8a8ee0c9852fa371ac6b2ac24d.png

那么我们就构造一个高斯分布 p(xt-1|xt)（见绿色箭头），让其方差和后验分布  q(xt-1|xt, x0) 一致：

01b71fbaae22b93bc7a6ca1503c4d6c8.png

而其均值则设为：

1dde045851226a90aa31b4261b6e98ac.png

和 q(xt-1|xt, x0) 的区别在于，x0 改为 xθ(xt, t) 由一个深度学习模型预测得到，模型输入是噪声图像 xt 和时间步 t 。

然后缩小分布  p(xt-1|xt) 和  q(xt-1|xt, x0) 之间差距，变成优化以下目标函数（推导过程详见参考资料[4]第13页）：

1f9e711c879f878a691b764cadba3a70.png

但是如果让模型直接从 xt 去预测 x0，这个拟合难度太高了，我们再继续换个思路。

前面介绍前向扩散过程提到，xt 可以直接从 x0 得到：

fddb506f8a3ceb57771620f5bc5817f8.png 9a55ba73c71710bf5091a3386b440502.png

将上面的公式变换一下形式：

c91f315e5aef558820dcdefbaea28046.png

代入上面  q(xt-1|xt, x0) 的均值式子中可得（推导过程详见参考资料[4]第15页）：

e15ed18e8ca441792bce7de41070c87f.png

观察上述变换后的式子，发现后验概率 q(xt-1|xt, x0) 的均值只和 xt 和前向扩散时候时间步 t 所加的噪声有关。

所以我们同样对构造的分布 p(xt-1|xt) 的均值做一下修改：

d1f8a7d619ec624351e0a52024043b46.png

将模型改为去预测在前向时间步 t 所添加的高斯噪声 ε，模型输入是 xt 和 时间步 t：

f80cc60961f059b5fb7890ef2cc75bef.png

接着优化的目标函数就变为（推导过程详见参考资料[4]第15页）：

2ba7670b1cb02e1b08f07997ce041ce3.png

然后训练过程算法描述如下，最终的目标函数前面的系数都去掉了，因为是常量：

090c514a3bee175bdff2d5ae656fae12.png

可以看到虽然前面的推导过程很复杂，但是训练过程却很简单。

首先每个迭代就是从数据集中取真实图像 x0，并从均匀分布中采样一个时间步 t，

然后从标准高斯分布中采样得到噪声 ε，并根据公式计算得到 xt。

接着将 xt 和 t 输入到模型让其输出去拟合预测噪声 ε，并通过梯度下降更新模型，一直循环直到模型收敛。

而采用的深度学习模型是类似 UNet 的结构（详见参考资料[2]附录B）。

训练过程的伪代码如下：

betas = torch.linspace(start=0.0001, end=0.02, steps=1000)
alphas = 1 - betas
alphas_cum = torch.cumprod(alphas, 0)
alphas_cum_s = torch.sqrt(alphas_cum)
alphas_cum_sm = torch.sqrt(1 - alphas_cum)

def diffusion_loss(model, x0, t, noise):
    # 根据公式计算 xt
    xt = alphas_cum_s[t] * x0 + alphas_cum_sm[t] * noise
    # 模型预测噪声
    predicted_noise = model(xt, t)
    # 计算Loss
    return mse_loss(predicted_noise, noise)

for i in len(data_loader):
    # 从数据集读取一个 batch 的真实图片
    x0 = next(data_loader)
    # 采样时间步
    t = torch.randint(0, 1000, (batch_size,))
    # 生成高斯噪声
    noise = torch.randn_like(x_0)
    loss = diffusion_loss(model, x0, t, noise)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

Diffusion Model 生成图像过程

模型训练好之后，在真实的推理阶段就必须从时间步 T 开始往前逐步生成图片，算法描述如下：

2490a155c960c0dc27bd3ce2be6fe87b.png

一开始先生成一个从标准高斯分布生成噪声，然后每个时间步 t，将上一步生成的图片 xt 输入模型模型预测出噪声。接着从标准高斯分布中采样一个噪声，根据重参数化技巧，后验概率的均值和方差公式，计算得到 xt-1，直到时间步 1 为止。

改进 Diffusion Model

文章 [3] 中对 Diffusion Model 提出了一些改进点。

对方差 βt  的改进

前面提到 βt 的生成是将一个给定范围均匀的分成 T 份，然后每个时间步对应其中的某个点：

betas = torch.linspace(start=0.0001, end=0.02, steps=1000)

然后文章 [3] 通过实验观察发现，采用这种方式生成方差 βt 会导致一个问题，就是做前向扩散的时候到靠后的时间步噪声加的太多了。

这样导致的结果就是在前向过程靠后的时间步，在反向生成采样的时候并没有产生太大的贡献，即使跳过也不会对生成结果有多大的影响。

接着论文[3] 中就提出了新的 βt 生成策略，和原策略在前向扩散的对比如下图所示：

d89b93b443dfad9735b8e4359c197120.png

第一行就是原本的生成策略，可以看到还没到最后的时间步就已经变成纯高斯噪声了，

而第二行改进的策略，添加噪声的速度就慢一些，看起来也更合理。

7b7425560dcc2586498529f518c5878a.png

实验结果表明，针对 imagenet 数据集 64x64 的图片，原始的策略在做反向扩散的时候，即使跳过开头的 20% 的时间步，都不会对指标有很大的影响。

然后看下新提出的策略公式：

d1fd26af5124b8c13d7e3240abdc3af5.png 37826158684d347d86e31f9480a57c7c.png

其中 s 设置为 0.008同时限制 βt最大值为 0.999，伪代码如下：

T = 1000
s = 8e-3
ts = torch.arange(T + 1, dtype=torch.float64) / T + s
alphas = ts / (1 + s) * math.pi / 2
alphas = torch.cos(alphas).pow(2)
alphas = alphas / alphas[0]
betas = 1 - alphas[1:] / alphas[:-1]
betas = betas.clamp(max=0.999)

对生成过程时间步数的改进

原本模型训练的时候是假定在 T个时间步下训练的，在生成图像的时候，也必须从 T 开始遍历到 1 。而论文 [3] 中提出了一种不需要重新训练就可以减少生成步数的方法，从而显著提升生成的速度。

这个方法简单描述就是，原来是 T 个时间步现在设置一个更小的时间步数 S ，将 S 时间序列中的每一个时间步 s 和 T时间序列中的步数 t 对应起来，伪代码如下：

T = 1000
S = 100
start_idx = 0
all_steps = []
frac_stride = (T - 1) / (S - 1)
cur_idx = 0.0
s_timesteps = []
for _ in range(S):
    s_timesteps.append(start_idx + round(cur_idx))
    cur_idx += frac_stride

接着计算新的 β ，St 就是上面计算得到的 s_timesteps：

d211f2a9aab07777bd11c948f84f9103.png

伪代码如下：

alphas = 1 - betas
alphas_cum = torch.cumprod(alphas, 0)
last_alpha_cum = 1.0
new_betas = []
# 遍历原来的 alpha 前缀乘序列
for i, alpha_cum in enumerate(alphas_cum):
    # 当原序列 T 的索引 i 在新序列 S 中时，计算新的 beta
    if i in s_timesteps:
        new_betas.append(1 - alpha_cum / last_alpha_cum)
        last_alpha_cum = alpha_cum

简单看下实验结果：

3e9d719d4aa84c0329b465056e697508.png

关注画蓝线的红色和绿色实线，可以看到采样步数从 1000 缩小到 100 指标也没有降多少。

参考资料

  • [1] https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/

  • [2] https://arxiv.org/pdf/2006.11239.pdf

  • [3] https://arxiv.org/pdf/2102.09672.pdf

  • [4] https://arxiv.org/pdf/2208.11970.pdf

  • [5] https://www.zhihu.com/question/41765860/answer/1149453776

  • [6] https://www.zhihu.com/question/41765860/answer/331070683

  • [7] https://zh.wikipedia.org/wiki/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE

  • [8] https://github.com/rosinality/denoising-diffusion-pytorch

  • [9] https://github.com/openai/improved-diffusion

END

564c9773bc663f174c0b79580462bdbb.png

分享

收藏

点赞

在看

0ac72cdeb267b2624f28f3bd199a4a04.gif

人工智能与算法学习
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Diffusion Model（扩散模型）
weixin_47772355的博客
12-29 7622
Diffusion
Integrated-Design-Diffusion-Model-大模型资源
07-21
IDDM(…)DDPM, DDIM, webgpuPytorch
一文弄懂 Diffusion Model（DDPM）+ 代码实现
03-02
一文弄懂 Diffusion Model（DDPM）+ 代码实现
图解Diffusion扩散模型+代码
周红伟讲AI
03-12 635
推理出了diffusion模型的损失函数，从最小化对数似然，到优化变分下界，简化变分下界，得到最后目标，预测噪声。提供了两版代码，其中条件生成与时下最火的text2image原理类似，只是text2image不仅仅使用单一类别作为编码。参考novelai。作为新一代生成模型，diffusion训练的过程可谓是十分的稳定，调参也比GAN相对简单不少！想要更好结果，我们只需要加大T，加大epoch即可。
【扩散模型学习1】Diffusion Model概念讲解
weixin_54098256的博客
06-04 867
图3 denoise模块结构如图3所示：①Noise Predicter：用来预测输入的图片里面的noise长什么样，输出一张Noise的图②输入的图片 - Noise图 = 输出denoise之后的结果FID越小越好，CLIP越大越好CNN是一个用来分类的训练好的网络计算生成的图（蓝点）和真实的图（红点）距离，距离越小，FID越小，说明效果越好需要大量的图片才能算出比较准确的FID图15 FID原理是400个million的image-text pairs训练出来的模型。
Diffusion 公式推导和代码实现
周红伟讲AI
03-13 973
预测噪声Diffusion model(一): 公式推导详解。
​扩散模型(Diffusion Model)详解：直观理解、数学原理、PyTorch 实现​
周红伟讲AI
03-12 5727
图像生成任务就是把随机生成的向量（噪声）映射成和训练图像类似的图像。为此，扩散模型把这个过程看成是对纯噪声图像的去噪过程。通过学习把图像逐步变成纯噪声的逆操作，扩散模型可以把任何一个纯噪声图像变成有意义的图像，也就是完成图像生成。对于不同程度的读者，应该对本文有不同的认识。图像生成任务的通常做法图像生成任务需要监督VAE通过把图像编码再解码来训练一个解码器扩散模型是一类特殊的VAE，它的编码固定为加噪声，解码固定为去噪声扩散模型的优化目标：让反向过程尽可能成为正向过程的逆操作。
扩散模型（Diffusion Model）简介
weixin_45657478的博客
09-25 7093
扩散模型（Diffusion Model）简介
扩散模型（Diffusion Model）——由浅入深的理解
热门推荐
WSLGN的博客
04-27 7万+
对扩散模型（diffusion model）进行由浅入深的理解
一文搞懂扩散模型Diffusion Models
机器学习社区
05-16 1406
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。本文将从扩散模型的本质_、扩散模型的原理、扩散模型的应用_三个方面，带您一文搞懂扩散模型 Diffusion Models。扩散模型Diffusion Models。
扩散模型diffusion model用于图像恢复完整可运行代码，附详细实验操作流程
02-10
5. 附有一些注释，其他地方不懂的可以参考博客https://blog.csdn.net/Wenyuanbo/article/details/128959995学习； 6. 附有 python 版本常用的 psnr 和 ssim 计算方法； 7. 敲代码不易，还请多多支持； 8. 若经济有限...
扩散模型-Diffusion Model 代码
02-29
扩散模型-Diffusion Model 代码
扩散模型(Diffusion Models)
Vpn_zc的博客
12-06 857
扩散模型(Diffusion Models)
扩散模型（Diffusion Model）的详细介绍
最新发布
u013889591的专栏
07-24 909
扩散模型（Diffusion Model）是一类生成模型，通过模拟数据的逐步变化过程来生成高质量的数据样本。近年来，扩散模型在图像生成、自然语言处理等领域取得了显著的成果，成为生成对抗网络（GANs）和变分自编码器（VAEs）的有力竞争者。生成模型的目标是学习数据的分布，以便能够生成与训练数据相似的新样本。传统的生成模型如GANs和VAEs存在一些不足，如训练不稳定和生成样本质量有限。扩散模型通过引入随机扩散过程，提供了一种新的生成数据的方式，解决了这些问题。
【深度学习】扩散模型（Diffusion Model）详解
Danger的博客
03-03 8912
【深度学习】扩散模型（Diffusion Model）详解
diffusion model
AI生成式技术曾小健
05-18 104
这说明前向链是马尔可夫过程， xt 是加入t步噪音后的样本， βt 是事先给定的控制噪声进度的参数。我们首先说明改善的动机，再根据方法的特性将每个改进方向的研究进一步细化分类，从而清楚的展现方法之间的联系与区别。尽管diffusion model在各类任务中都有着优秀的表现，它仍还有自己的缺点，并有诸多研究对diffusion model进行了改善。反向链从给定的先验开始并使用参数化的高斯转换核，学习逐步恢复原数据分布。用 x0 ~ q(x0)恢复数据的分布，这样就了产生一个高度灵活且易于计算的生成模型。
Diffusion Model （扩散模型）
qq_36372569的博客
09-27 602
参考链接：https://www.bilibili.com/video/BV1hd4y1z7zU/?
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值