Diffusion Models Unit1

一、DDPM原理

.从前向过程，逆向采样过程，优化目标三块进行介绍。

一句话概括diffusion model，即存在一系列高斯噪声（ T轮），将输入图片 x_0变为纯高斯噪声 x_T。而我们的模型则负责将 x_T 复原回图片 x_0 。这样一来其实diffusion model和GAN很像，都是给定噪声 x_T生成图片 x_0 ，但是要强调的是，这里噪声 x_T与图片x_0是同维度的。

前向过程

前向过程，即往图片上加噪声的过程。这个步骤无法做到图片生成，但是这是理解diffusion model以及构建训练样本GT至关重要的一步
给定真实图片 $x_0\sim q(x)$ ,将真实图片分布记为q(x),diffusion前向过程通过 T次累计对其添加高斯噪声，得到 $x_1,x_2,...,x_T$如下图的q过程。

这里需要给定一系列的高斯分布方差的超参数 { β t ∈ ( 0 , 1 ) } t = 1 T \{\beta_t\in(0,1)\}_{t=1}^{T} {βt​∈(0,1)}t=1T​.前向过程由于每个时刻 t只与 t-1时刻有关，所以也可以看做马尔科夫过程：

有关，所以也可以看做马尔科夫过程：
$q(x_t|x_{t-1})$表示给定$x_{t-1}$加噪后得到x_t的概率分布，是一个高斯分布，均值为$\sqrt{1-{\beta }_t}{x}_{t-1}$,标准差为$\sqrt{{\beta }_t}I$。后一个公式表示如果给定x0,那么x1:T的联合概率分布表示为T个公式连乘。
这个过程中，随着t 的增大， x_t越来越接近纯噪声。当 $T\to \infty$， x_T是完全的高斯噪声（下面会证明，且与均值系数$\sqrt{1-{\beta }_t}$的选择有关）。且实际中 ${\beta }_t$随着t增大是递增的，即 ${\beta }_1<{\beta }_2<...<{\beta }_T$

前向过程中有两个重要特性需要注意：
**特性1 - 重参数（reparameterization trick）：**这个技巧在VAE中使用过，如果我们要从某个分布中随机采样(高斯分布)一个样本，这个过程是无法反传梯度的。而这个通过高斯噪声采样得到x_t的过程在diffusion中到处都是，因此我们需要通过重参数技巧来使得他可微。

最通常的做法是把随机性通过一个独立的随机变量\epsilon引导过去。举个例子，如果要从高斯分布 $z\sim \mathcal{N}(z;{\mu }_{\theta },{\sigma }_{\theta }^2\mathbf{I})$ 采样一个z，我们可以写成:
$z={\mu }_{\theta }+{\sigma }_{\theta }\odot ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$
上式的z依旧是有随机性的， 且满足均值为${\mu }_{\theta }$方差为 ${\sigma }_{\theta }^2$的高斯分布。这里的${\mu }_{\theta }{\sigma }_{\theta }^2$可以是由参数 \theta 的神经网络推断得到的。整个“采样”过程依旧梯度可导，随机性被转嫁到了$ϵ$上。
特性2 - 任意时刻的$x_t$可以由$x_0$和$\beta$表示
能够通过 $x_0$ 和 $\beta$快速得到$ x_t$ 对后续diffusion model的推断和推导有巨大作用。首先我们假设 ${\alpha }_t=1-{\beta }_t$，并且 ${\overline{\alpha }}_t={\prod }_{i=1}^T{\alpha }_i$ ，展开 x_t 可以得到:

更详细：

由于独立高斯分布可加性，即$\mathcal{N}(0,{\sigma }_1^2\mathbf{I})+\mathcal{N}(0,{\sigma }_2^2\mathbf{I})\sim \mathcal{N}(0,({\sigma }_1^2+{\sigma }_2^2)\mathbf{I})$所以

因此可以混合两个高斯分布得到标准差为 为\sqrt{1-\alpha_t \alpha_{t-1}}的混合高斯分布，然而上式中的 ${\overline{z}}_2$仍然是标准高斯分布。而任意时刻的 x_t 满足 $q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{{\overline{a}}_t}{x}_0,(1-{\overline{a}}_t)\mathbf{I})$