【论文阅读】 Denoising Diffusion Probabilistic Models ( DDPM ）

已于 2024-01-23 20:06:50 修改
阅读量990 收藏 1
点赞数 6
文章标签： 论文阅读
于 2023-09-30 18:19:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51330846/article/details/133421085
版权
文章介绍了DDPM（DiffusionProbabilisticModels）中的扩散和逆向过程，使用高斯噪声进行图像生成和去噪。通过数学归纳法，展示了如何用参数化的马尔可夫链描述这个过程，以及神经网络在参数选择中的应用。
摘要由CSDN通过智能技术生成

目录

扩散现象

DDPM 思想

前向过程（扩散过程）

高斯噪声

如何理解？

回到式中

高斯分布的和

数学归纳法

参数的选择

逆向过程（去噪过程）

看回逆向过程的定义

来看算法

左边是训练模型的过程

右边是模型的推理过程

论文链接：https://arxiv.org/abs/2006.11239

扩散现象

物质将由高浓度区域向低浓度区域转移，直至均匀分布的现象。

向水中滴一滴墨水，墨水将弥散开来填满整杯水。

DDPM 思想

运用“扩散”的思想，向一张清晰的图片不断添加噪声，直至最终成为纯噪声。

大胆地假设，我们将该过程反过来，试图从一张纯噪声中一步步减去噪声，恢复出清晰的图片，

如果该假设可以实现，这正是生成图片 的过程！

前向过程（扩散过程）

前向过程以马尔可夫链描述 is fixed to Markov chain

该过程就是逐渐地加入高斯噪声（每一步都加，且都以权重 \sqrt{\beta _t} 加入，该权重随步数 t 变化）

高斯噪声

高斯噪声是一种常见的随机噪声，也称为正态分布噪声。它是由高斯分布（正态分布）产生的随机信号。

如何理解？

比如，假设有一个温度传感器，它每隔一秒测量一次环境温度。由于环境中存在各种随机因素，例如气象条件的变化、电磁干扰等，这些随机因素会导致测量结果的一定程度的波动和不确定性。

如果我们将这些随机波动建模为高斯噪声，那么温度传感器的测量值就会呈现出高斯分布的特性。

即值的概率分布满足高斯分布。

回到式中

从标准高斯分布中 N\sim (0,I) 采样出第 t 步要加的噪声 z_{t} 

并予以权重 \sqrt{\beta _t} ，分布变为 N\sim (0,\beta _tI) 

论文中文字部分未提及的是，往图片中加噪声时，图片也要予以权重 \sqrt{1-\beta _t} 

于是新图片 x_t = \sqrt{1-\beta_t}x_{t-1}+\sqrt{\beta_t}z_{t} ，为 z_t 的分布加上了一个偏置，改变了均值

即 x_t 服从分布 N\sim (\sqrt{1-\beta_t}x_{t-1},\beta _tI) 

于是就有了文中的式子

注意到，每一次添加噪声都是往里加高斯分布，而高斯分布的和仍是高斯分布，这样一来，只要我们有步数 t ，我们便可以直接用 x_0 直接表达出 x_t

高斯分布的和

数学归纳法

这里文中用 \alpha _t=1-\beta_t 代替了 \beta_t 

推演得每一次加噪声就是在权重那里乘上新权重（连乘）

至此，无论多少步添加噪声，实际上都可以用公式一步算出最终图像 x_t 

（如上图中最后一行所示）

参数的选择

文中没有将参数 \beta _t / \alpha _t 设置为可学习的，而是设置为定值。

实施中将 \beta _t 设置为线性变大的小系数（从 10^{-4} 到 0.02 ）。

逆向过程（去噪过程）

我们想要逆向地，通过 x_t 得到 x_{t-1} 的分布， q(x_{t-1}|x_t) 

前面我们做的一切都是正向的，会发现该逆向分布一时无法表达

等式右边的概率均是前向的，都可以用我们前面推导的表达式表达

也就是不同高斯分布的相乘相除

得出的分布表达式正比于（略去前面的系数）

拆开合并同类项，为 x_{t-1} 配方

x_{t-1}^2 的系数即是方差倒数 \frac{1}{\sigma^2} ，再利用该方差去看第二项 x_{t-1} 的系数 \frac{2\mu}{\sigma^2} 

可以得到均值 \mu 的表达式，再带入用 x_t 、 第 t 步加入噪声 z_t 表达的式子

这样，我们便获得了 x_{t-1} 分布的均值

该均值中的 z_t 是我们不知道的，在论文后续的说明中我们会知道

z_t 其实就是我们训练神经网络要预测的东西（通过 x_t 和 t )

看回逆向过程的定义

看上图右边的式子，下标 \theta 代表参数通过神经网络学习

我们已经有了 \mu_\theta ，对于方差 \sum _\theta 

\sum _\theta 设置为了 \sigma _t^2 I ，在实验中， \sigma _t^2 =\beta_t 、 \sigma _t^2=\frac{1-\bar{\alpha_{t-1}}}{1-\bar{\alpha_t}}\beta_t 得到的结果都是相似的。

在前向过程参数的选择中，我们知道 \beta_t 其实设定成了不拿来给神经网络学习的常数，所以该方差事实上也是常数。

来看算法

左边是训练模型的过程

在我们的数据集中抽出样本 x_0 

在 1 到 T 中随机选取一个整数 t （注意是随机选取，该 t 仅是这张图片的加噪步数）

随机选取的步数 t 保证了模型的鲁棒性，避免了模型学到奇怪的东西比如我只要去掉某固定步数的噪声就可以完成任务

接着在高斯分布中采样一个噪声 \epsilon ，即前文中的 \bar{z_t} 

让神经网络去学习预测噪声 \epsilon _\theta(x_t, t) ，其中 x_t = \sqrt{\bar{\alpha_t}}x_0+\sqrt{1-\bar{\alpha_t}}\bar{z_t} 

对与 ground truth 噪声取2-范数做梯度下降直至收敛

右边是模型的推理过程

从高斯分布中随机选取出噪声作为 x_t 

对于从 T 到 1 的每一步，都从高斯分布中抽出一个 z 

在前面逆向过程的推导我们有 x_{t-1} 的均值与方差

所以便有了式子

如此重复，直到求出 x_0 ，就是我们想要的图片。

_bh
关注
Diffusion Model相关论文解析之(一)Denoising Diffusion Probabilistic Models
m0_37737957的博客
08-17 288
1、摘要 2、创新点 3、主要公式 4、主要实现过程
【深度学习 AIGC】将diffusion用于Inpainting ，图像修复，Inpainting using Denoising Diffusion Probabilistic Models
q742971636的博客
09-15 1566
代码：https://github.com/andreas128/RePaint论文：https://bit.ly/3b1ABEb
​生成扩散模型漫谈：DDPM = 拆楼 + 建楼
Paper weekly
06-19 1139
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络说到生成模型，VAE、GAN 可谓是“如雷贯耳”，本站也有过多次分享。此外，还有一些比较小众的选择，如 flow 模型 [1]、VQ-VAE[2] 等，也颇有人气，尤其是 VQ-VAE 及其变体 VQ-GAN [3]，近期已经逐渐发展到“图像的Tokenizer”的地位，...
[论文解析] Denoising Diffusion Probabilistic Models
Joselynzhao
12-10 1108
扩散概率模型(为方便起见，我们将其称为“扩散模型”)是一种参数化的马尔可夫链，使用变分推理训练产生有限时间后与数据匹配的样本。学习该链的跃迁来逆转扩散过程，这是一个马尔可夫链，逐步向采样的相反方向的数据添加噪声，直到信号被破坏。当扩散由少量高斯噪声组成时，将采样链跃迁设置为条件高斯也就足够了，允许特别简单的神经网络参数化。
精读diffusion论文系列（1）——DDPM
最新发布
Fyantu的博客
09-24 923
为什么要分成多步来实现功能，因为多步方便控制，方便生成指定的图像 最小化生成和编码两个概率分布的KL散度 重参数化相当于让最后的求导连接到了平均值和方差变量上，从而让随机生成的噪声作为了一个导数形式表现。而均值向量和方差向量可以由神经网络的权重表示。采样过程是无法进行可微的，但是如果重参数化后，z和均值、方差向量之间联系起来了，所以梯度可以一直反传到后面网络中对应的参数 1. Introduction 首先在Introduction部分定调了DDPM是一个使用变分推断来训练的参数化马尔科夫链，它通过有限次数
Denoising Diffusion Probabilistic Models翻译
nopSled
09-27 1346
我们提出了使用扩散概率模型来合成高质量图像的方法，这是一种受非平衡态热力学启发的潜在变量模型。我们的最佳结果是通过根据扩散概率模型与朗之万动力学去噪分数匹配之间的新联系而设计的加权变分结合来获得的，并且我们的模型自然可看作一种渐进有损解压技术，该技术可以被解释为自回归解码的泛化。 在无条件CIFAR10数据集上，我们获得了9.46的inception score，以及3.17的FID。在256x256 LSUN上，我们获得了类似于ProgressiveGAN的样本质量。我们的实现可从https://gith
【论文精读】DDPM：Denoising Diffusion Probabilistic Models 去噪扩散概率模型
weixin_47748259的博客
03-16 6742
变分自动编码器（VAE） 结合了自动编码器和变分推断的思想。它主要包括编码器和解码器两个部分。VAE能够学习数据的潜在表示，并生成具有相似分布的新样本。在训练过程中，VAE的目标是最大化数据的边际似然，同时使潜在表示与先验分布（通常是高斯分布）的KL散度最小化。 生成对抗网络（GAN）： 由生成器和判别器组成。在训练过程中，生成器和判别器相互对抗、相互提升，最终使得生成器能够生成逼真的数据，判别器则很难区分真假数据。 流模型（Flow-based Models） 是一类生成模型，旨在学习数据的概率分布以
【论文速读】DDPM：Denoising Diffusion Probabilistic Models
weixin_43457608的博客
09-12 288
是一个常量可以忽略。为什么要再加一个噪音暂时没懂。，T长度通常设置为1000。是给定好的一组序列，
Improved Denoising Diffusion Probabilistic Models.pdf
05-18
Improved Denoising Diffusion Probabilistic Models（DDPM）是一类生成模型，它最近被证明可以生成高质量的样本。 DDPMs 通过学习反向扩散过程的方差，可以以几乎相同的样本质量实现多个数量级的前向传递减少，这对...
RePaint: Inpainting using Denoising Diffusion Probabilistic Models 简介及相关工作
weixin_45693324的博客
11-23 1370
由于图像嵌入需要高级语义上下文，并且要显式地将其包含在生成管道中，因此存在一些手工的体系结构设计，如扩大卷积[16,44]来增加接受域，部分卷积[19]和门通卷积[47]根据嵌入掩码来引导卷积内核，上下文注意[45]利用全局信息，边缘映射[9,26,42,43]或语义分割映射[14，30]进一步指导生成，以及傅立叶卷积[39]有效地包括全局和局部信息。因此，嵌入方法需要强大的生成能力。此外，inpainting方法需要处理各种形式的蒙版，如薄或厚的笔刷，正方形，甚至是极端的蒙版，图像的绝大部分都丢失了。
2022图像翻译/扩散模型：UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models
ssshyeong的博客
10-11 8685
我们提出了一种新的无配对图像间翻译方法，该方法使用去噪扩散概率模型而不需要对抗训练。我们的方法，UNpaired Image Translation with Denoising Diffusion Probabilistic Models(UNIT-DDPM)，训练一个生成模型，通过最小化另一个域条件下的去噪分数匹配目标，推断图像在两个域上的联合分布作为马尔可夫链。
狗都能看懂的DDPM论文详解
个人学习笔记
04-07 5702
DDPM的推导笔记，更深刻理解stable diffusion，从不同角度去学习去噪网络
Re4读论文 Denoising Diffusion Probabilistic Models
weixin_44796129的博客
11-03 98
Denoising Diffusion Probabilistic Models NeurlPS2020
DDPM--Denoising Diffusion Probabilistic Models
zephyr_wang的博客
08-21 2042
本文根据2020年《Denoising Diffusion Probabilistic Models》翻译总结的，即DDPM，去噪扩散概率模型。
【论文阅读】Improved Denoising Diffusion Probabilistic Models
kanon的博客
03-13 2384
去噪扩散概率模型 （DDPM） 是一类生成模型，最近已被证明可以产生出色的样本。实验表明，通过一些简单的修改，DDPM还可以在保持高样品质量的同时实现竞争性的对数似然。为了更紧密地优化变分下界 （VLB），我们使用简单的重新参数化和混合学习目标来学习逆向过程方差，该目标将 VLB 与 Ho 等人[1]的简化目标相结合，允许采样前向传递减少一个数量级，样本质量差异可以忽略不计，这对于这些模型的实际部署非常重要。
DDPM 论文总结 Denoising Diffusion Probabilistic Models
samoyan的博客,记录技术成长~
02-23 1450
这些论文为深度学习领域的生成模型研究提供了新的视角和方法，尤其在高质量图像合成方面展示出了强大的能力。DDPM的研究不仅推动了生成模型的发展，也为后续的研究者提供了丰富的启发和可能的改进方向。1. 预测噪声而非像素转换。2. 仅预测正态分布的均值。
Diffusion Models 10 篇必读论文（1）DDPM
wonderful_boy的博客
09-24 752
前一篇介绍了 diffusion model 的设计灵感和主要的思想。这篇沿用了之前的想法，用一个马尔科夫链来构成一个生成模型，训练是是把原始分布逐步扩散到一个噪声分布，然后学习其逆扩散的过程。不同的是此处把模型的逆扩散过程更加形象地看成是去噪过程（DDPM），并优化了训练目标，使得训练和生成过程更加清晰简洁，后面很多论文都是基于这篇论文优化发展的。
【扩撒模型之DDPM】Denoising Diffusion Probabilistic Models论文解读
不积跬步，无以至千里！
09-23 1649
AI绘画初探：扩散概率模型（DDPM）
ddpm和ddim的区别
09-30
DDPM（Denoising Diffusion Probabilistic Models）和DDIM（Denoising Diffusion Implicit Models）是两种基于扩散过程的图像去噪模型。它们的主要区别在于模型结构和学习策略。 首先，DDPM和DDIM的模型结构存在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值