Diffusion model笔记

可以观看Diffusion model来学习一些Diffusion model内容：链接

Diffusion model

Diffusion model定义了总的来说就是包含一个扩散过程和一个逆扩散过程，扩散过程中使用马尔可夫链将噪声加入到数据中，逆扩散过程是用噪声构造所需的数据样本。这两个过程都是迭代完成的。
训练好的模型就没有前向过程了。

前向传播过程：

反向扩散过程

总过程：

前向过程

①首先引入一个式子 ${\alpha }_t=1-{\beta }_t$，其中$\beta$要越来越大，论文中是0.0001到0.002，也就是说$\alpha$要越来越小。
其中${\alpha }_t$类似于如下图。（注意：可以使用线性变小，也可使用其他的方法）

②然后再来看
设$x_t$是t时刻的一个分布，可以看上面前向过程的图，可以看出 $x_t$时刻当前分布是由$x_{t-1}$时刻计算出来，加了些噪音，类似于RNN递归结构。
公式 为$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_1$
$z_1$可以理解为噪音。
$\sqrt{{\alpha }_t}$和$\sqrt{1-{\alpha }_t}$可以理解为两个权重。

③然后看最开始的公式，越到最后${\alpha }_t$越小，也就是$\sqrt{{\alpha }_t}$越小，$\sqrt{1-{\alpha }_t}$越大，说明越往后加的噪声影响越大。

现在想一个问题，如果是递归，从$x_0$运算到$x_t$会不会太慢了
可不可以直接从$x_0$直接得到$x_t$ ?
④先计算$x_{t-1}$:
$x_{t-1}=\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{z}_2$
然后带入到$x_t$中得到：
$x_t=\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{z}_2)+\sqrt{1-{\alpha }_t}{z}_1$
展开：
$x_t=\sqrt{{\alpha }_t}\sqrt{{\alpha }_{t-1}}{x}_{t-2}+(\sqrt{a_t(1-{\alpha }_{t-1})}{z}_2+\sqrt{1-{\alpha }_t}{z}_1)$

⑤因为$z_1和z_2$都符合高斯分布分别为$N(0,1-{\alpha }_t)$和$N(0,{\alpha }_t(1-{\alpha }_{t-1}))$
相加后仍然符合高斯分布：
所以可以化简为：
$x_t=\sqrt{\overline{{\alpha }_t}}{x}_0+\sqrt{1-\overline{{\alpha }_t}}{z}_t$
所以任意时刻的$x_t$都可以通过$x_0$得到。
接下来是逆向过程。

逆向过程

逆向过程是一个去噪的过程，也就是上面那个逆过程。
目前没有办法直接从$x_t$直接算到$x_0$
⑥逆向过程就是$x_t$求$x_{t-1}$
利用贝叶斯公式求：
$q(x_{t-1}|x_t,x_0)=q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}$

根据上面⑤讲的：

⑦正态分布：一个数学期望为μ、方差为${\sigma }^2$的正态分布$X\sim N(\mu ,{\sigma }^2)$
函数为：$exp(-\frac{(X-\mu {)}^2}{2{\sigma }^2})$
正态分布展开后，乘法就相当于加，除法就相当于减。

则 $q(x_t|x_{t-1},x_0)\frac{q(x_{t-1}|x_0)}{q(x_t|x_0)}$
继续化简：

⑧
C是个常数项，不影响。

这个式子跟上面的式子进行对比，可以得到期望和方差。
根据公式⑧可以得到
之前说$x_t$可以由$x_0$计算得到，现在逆运算一下
$x_0=\frac{1}{\sqrt{{\overline{\alpha }}_t}}(x_t-\sqrt{1-{\overline{\alpha }}_t}{z}_t)$
最终结果$\tilde{u}=\frac{1}{\sqrt{{\overline{\alpha }}_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\overline{\alpha }}_t}}{z}_t)$
⑨$z_t$ 怎么求?
$z_t$其实就是我们要估计的每一个时刻的噪声
我们可以训练一个模型来进行计算，一些相关论文里使用的unet结构来进行计算。

UNet是一样的，传进来输入是不同的。

DDPM论文中的训练和采样方法（就是那两个阶段）

Training

(2)首先先取数据->(3)构建T序列->(4)加符合正态分布的噪声->(5)模型学习
细节:
①在3中假设batch是4个，T为200，每一个img会随机取T值，比如$T_1$=30，$T_2$=150，$T_3$=60，$T_4$=180，
②在5中，其中${ϵ}_{\theta }$为神经网络模型，通过输入$x_t$和$t$预测$ϵ$,目标为缩小与真实的$ϵ$的差距。$t$相当于是一个时刻（t越大，噪声越大，要告诉模型），类似于transformer的位置编码。
再看一下损失，前面的$ϵ$为真实值，减去后面那一坨（预测值），就是损失。
总的来说就是为了得到Unet模型，在unet中还有attention。

Sampling

(1)首先随机得到一个正态分布->(2)循环(从T->0) ->(3)噪音点，最后一步不用加，t>1时候加->(4)最重要公式，得到$x_{t-1}$(高斯分布重采样)

细节： 代码中在第四步还有重采样过程，得到了u和σ分布，需要采样得到实际图像。