扩散模型Diffusion model | DDPM

扩散模型Diffusion model | DDPM

论文原文：Denoising Diffusion Probabilistic Model

前言—和VAE的联系

DDPM实际上是VAE而不是扩散模型

多步扩散

DDPM将VAE的编码过程和生成过程分解为T步，每一个$p(x_t|x_{t-1})$和$q(x_{t-1}|x_t)$仅负责建模一个微小变化，它们依然建模为正态分布。

对于微小变化来说，可以用正态分布足够近似地建模(高斯混合模型的思想)，类似于曲线在小范围内可以用直线近似，多步分解就有点像用分段线性函数拟合复杂曲线，因此理论上可以突破传统单步VAE的拟合能力限制。

编码能力

DDPM是放弃了模型的编码能力，最终只得到一个纯粹的生成模型

核心推导步骤

引入了一个$q(x_{t-1}|x_t,x_0)$来进行裂项相消，然后转化为正态分布的KL散度形式。

而后用$p_{\theta }(x_{t-1}|x_t)$来近似$q(x_{t-1}|x_t,x_0)$从而极大似然$p_{\theta }(x_0)$

模型推导

前向过程

给定一个从真实数据分布$x_0\sim q(x)$中采样的数据点，前向扩散过程中分$T$步向样本中加入少量高斯噪声，产生一系列带噪声的样本$x_0,...,x_T$。加入噪声的均值和方差由控制。即
$${\mathbf{x}}_t={\alpha }_t{\mathbf{x}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t,{\mathbf{\epsilon }}_t\sim \mathcal{N}(0,\mathbf{I})$$
其中有${\alpha }_t,{\beta }_t>0$且${\alpha }_t^2+{\beta }_t^2=1$(方便下述正态分布相加计算)，${\beta }_t$通常很接近于0.

反向过程

如果我们可以反转上述过程并从$q(x_{t-1}│x_t)$中采样，我们将能够从高斯噪声输入${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$中重建真实样本。由${\mathbf{x}}_t={\alpha }_t{\mathbf{x}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t$可知，${\mathbf{x}}_{t-1}=\frac{1}{{\alpha }_t}({\mathbf{x}}_t-{\beta }_t{\mathbf{\epsilon }}_t)$，由于此过程难以直接计算，可以用神经网络模拟为
$$\mathbf{\mu }({\mathbf{x}}_t)=\frac{1}{{\alpha }_t}({\mathbf{x}}_t-{\beta }_t{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t))$$
那么我们的损失函数可以理解为(考虑了扩散过程中的时间因素)：
$${\Vert {\mathbf{x}}_{t-1}-\mathbf{\mu }({\mathbf{x}}_t)\Vert }^2=\frac{{\beta }_t^2}{{\alpha }_t^2}{\Vert {\mathbf{\epsilon }}_t-{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t)\Vert }^2$$
忽略前面系数，带入之前的$x_t$，得到
$${\Vert {\epsilon }_t-{ϵ}_{\theta }({\bar{\alpha }}_t{\mathbf{x}}_0+{\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t,t)\Vert }^2$$

这里选择回退一步到$x_{t-1}$来给出$x_t$，因为我们已经事先采样了${\epsilon }_t$，而${\epsilon }_t$跟${\bar{\epsilon }}_t$不是相互独立的，所以给定${\epsilon }_t$的情况下，我们不能完全独立地采样${\bar{\epsilon }}_t$

损失

上述损失函数实际上包含了4个需要采样的随机变量，要采样的随机变量越多，就越难对损失函数做准确的估计。可以通过一个积分技巧来将${\epsilon }_t$跟${\bar{\epsilon }}_{t-1}$合并成单个正态随机变量
大致就是去构造两个独立的方程式去解方程：
$${\alpha }_t{\bar{\beta }}_{t-1}{\bar{\mathbf{\epsilon }}}_{t-1}+{\beta }_t{\mathbf{\epsilon }}_t={\beta }_t\mathbf{\epsilon }|\mathbf{\epsilon }\sim \mathcal{N}(0,\mathbf{I})，{\beta }_t{\bar{\mathbf{\epsilon }}}_{t-1}-{\alpha }_t{\bar{\mathbf{\beta }}}_{t-1}{\mathbf{\epsilon }}_t={\bar{\beta }}_t\mathbf{\omega }|\mathbf{\omega }\sim \mathcal{N}(0,\mathbf{I})$$

解出来代回去即可得到DDPM最终用的损失函数：
$${\Vert \epsilon -\frac{{\bar{\beta }}_t}{{\beta }_t}{ϵ}_{\theta }({\bar{\alpha }}_t{\mathbf{x}}_0+{\bar{\beta }}_t\mathbf{\epsilon },t)\Vert }^2$$

变分下界

推理生成

训练完之后，我们就可以从一个随机噪声${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$出发反向传播$T$步来进行生成。同时需要进行随机采样，那么需要补上噪声项。
$${\mathbf{x}}_{t-1}=\frac{1}{{\alpha }_t}({\mathbf{x}}_t-{\beta }_t{\mathbf{ϵ}}_{\theta }({\mathbf{x}}_t,t))+{\sigma }_t\mathbf{z},\mathbf{z}\sim \mathcal{N}(0,\mathbf{I})$$

实质上，DDPM的采样每次都从一个随机噪声出发，需要重复迭代T步来得到一个样本输出