Diffusion Model算法

导语

最近AI绘画应用如火如荼，
有关算法的应用产品也很多，比如DALLE2

官网地址：https://openai.com/dall-e-2/

DALLE2产品描述：DALL·E2是一个新的人工智能系统，可以根据自然语言的描述创建逼真的图像和艺术

其主要功能有：

• DALLE 2可以从文本描述中创建原创、逼真的图像和艺术。它可以组合概念、属性和样式。
• DALLE 2可以通过自然语言字幕对现有图像进行逼真的编辑。它可以添加和删除元素，同时考虑阴影、反射和纹理。
  
• DALLE 2可以将图像扩展到原始画布之外，创造出更广阔的新构图
• DALLE 2可以创建不同的灵感来源于原作。
  

1.为什么叫扩散算法

AI绘画架构，核心算法就是运用了Diffusion（扩散算法）

举个列子：之前三亚出现游客聚集性新冠，如果当时不选择集中隔离，而是允许游客自由进出，那原本集中在一起的游客病例的特征（也可以说是病例轨迹），因为扩散开来，回到各个城市，那不同的游客的病例特征（病例轨迹）也会因此多样化了。

回到图像中，游客的病例特征也就是对应到图像的特征上（最直接的特征就是图像直方图）

对比以前的GAN也是图像生成的算法
GAN缺点：

• GAN训练两个网络，难度较大
• 不容易收敛，而且多样性比较差,只关注能骗过判别器

GAN所能生成出的图像，其图像特征多样性较差，在训练中，只需要生成器生成的图像能满足当前的判别器，使判别器不能识别出假的即可了。

2.Diffusion算法理论

Diffusion算法可以根据结构，有二个方向分成是前向过程和反向过程

2.1 前向过程

核心：不断对输入的图像数据加入噪声，最后变成一个纯噪声的数据

已知最初的原始图像的数据，前向过程，就是需要求得每一个$t$时刻的图像数据

也就是已知$x_0$,求$x_2,...,x_t$

每一个时刻添加一个高斯噪声，
由$x_0$到$x_1$…$x_N$时刻

每个时刻 $t$，加入的噪声是不同的，并且加入噪声的数量，会随着时间，越来越多。

2.1.1 公式推导

设$t$时刻噪声的值$z_1$，是服从高斯分布的，所有噪声都是服从高斯分布的

设$t$时刻噪声值的权重为${\alpha }_t$
${\alpha }_t=1-{\beta }_t$，通过$\beta$来调节$\alpha$的值，$\beta$是一个小于1的值，$\beta$越来越大，$\alpha$越来越小。

通过$\alpha$来调节，每个时刻的噪声数量，随着时间，噪声越来越大。

设$t$时刻的图像分布为$x_t$
$x_t$时刻的分布，是由$t-1$时刻$x_{t-1}$加入噪声得到的，于是得：
$$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_t$$
其中$\sqrt{1-{\alpha }_t}=\sqrt{{\beta }_t}$

如何得到$x_t$，可以通过$x_{t-1}$得到，$x_{t-1}$由$x_{t-2}$,依次递归到$x_0$得到
$但是太慢了，运算时间过长，目前我们已知的就只有x_0,如何将x_t用x_0去表示$

步骤1
首先将$x_{t-1}=\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{z}_2$ 带入到$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{z}_t$中得

$$x_t=\sqrt{{\alpha }_t}(\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{z}_2)+\sqrt{1-{\alpha }_t}{z}_1$$

步骤2：合并高斯分布
已知每次加入的噪声都服从高斯分布$z_1,z_2,...N(0,I)$
$x_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+(\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{z}_2+\sqrt{1-{\alpha }_t}{z}_1)$

这里有二个高斯分布$N(0,1-{\alpha }_t)$,$N(0,{\alpha }_t(1-{\alpha }_{t-1}))$

由数学公式可以推导若两个独立的高斯分布$N_1(u_1,{\sigma }_1^2)$,$N_2(u_2,{\sigma }_2^2)$，其合并后为$N(u,{\sigma }^2)$
其中$u=u_1+u_2$，${\sigma }^2={\sigma }_1^2+{\sigma }_2^2$

因此$N(0,1-{\alpha }_t)$,$N(0,{\alpha }_t(1-{\alpha }_{t-1}))$合并为$N(0,(1-{\alpha }_t{)}^2+{\alpha }_t^2(1-{\alpha }_{t-1}{)}^2)$

化简后得
$$x_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}{z}_3$$
其中$z_3$为高斯分布$z_1,z_2$的合并

步骤3
既然$x_t$可以直接通过$x_{t-2}$，那一直推导到$x_0$由此可得
$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t$$
其中${\bar{\alpha }}_t={\alpha }_t\ast {\alpha }_{t-1}\ast {\alpha }_{t-2}\ast {\alpha }_{t-3}\ast ....\ast {\alpha }_0$

现在我们知道了，正向过程，如何由图像转为噪音点图像，现在我们要反过来思考怎么由噪声图像还原到原图像，也叫去噪的过程

也就是已知$x_t$,求$x_{t-1},...,x_0$

2.2 后向过程(去噪过程)

已知$x_t$,求$x_{t-1},...,x_0$

通过贝叶斯公式，可以得：

我们可以通过先验条件$x_0$来求得后验条件$x_{t-1}$或$x_t$，或任何一个$t$时刻的$x$值。也就是说$P(x_{t-1}|x_0)$,$P(x_t|x_0)$已知

目的是反向推理：$P(x_{t-1}|x_t)$，先验条件为$x_t$，求后验条件$x_{t-1}$，公式如下：

$$P(x_{t-1}|x_t)=\frac{P(x_t|x_{t-1})P(x_{t-1})}{P(x_t)}$$

其中$P(x_{t-1})$,$P(x_t)$可以通过先验条件$x_0$求得
也就是$P(x_{t-1}|x_0)$,$P(x_t|x_0)$

2.2.1 公式推导

步骤1
因为$P(x_{t-1}),P(x_t)$都可以通过先验条件$x_0$求得，虽然这里$x_0$未知，但可以将$P(x_{t-1}|x_t)=\frac{P(x_t|x_{t-1})P(x_{t-1})}{P(x_t)}$表示为：
$$P(x_{t-1}|x_t,x_0)=P(x_t|x_{t-1},x_0)\frac{P(x_{t-1}|x_0)}{P(x_t|x_0)}$$

其中$P(x_{t-1}|x_0)=\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}z$ ~ $N(\sqrt{{\bar{\alpha }}_{t-1}}{x}_0,1-{\bar{\alpha }}_{t-1})$

其中$P(x_t|x_0)=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}z$ ~ $N(\sqrt{{\bar{\alpha }}_t}{x}_0,1-{\bar{\alpha }}_t)$

其中$P(x_t|x_{t-1},x_0)=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}z$ ~ $N(\sqrt{{\alpha }_t}{x}_{t-1},1-{\alpha }_t)$

步骤2
从式子中可以看到都包含一个$z$的高斯分布（正态分布）

由高斯分布公式：

可以将三个式子通过正态分布换算为：

把正态分布展开后，乘法相当于加法，除法相当于减法。

步骤3

化简步骤2得：
$${\hat{u}}_t(x_t,x_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}{x}_0$$

其中$x_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}(x_t-\sqrt{1-{\bar{\alpha }}_t}{z}_t)$

最终结果求出：

$${\hat{u}}_t=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\bar{z}}_t)$$

如果上面的公式计算看不懂，只需要记住这最后这个式子即可。

3.算法流程

模型的训练和预测，并通过损失函数来拟合，一直是围绕着噪声$Z_t$来求解的

前向过程：我们随机增加的噪声——>噪声就是已知的标签$y$
反向过程：通过模型预测出前面时刻的图像，来还原，已知$x_t$，求得$x_{t-1}$，也就得到了中间的噪声$\hat{y}$。

用前向反向的噪声来作为损失函数，来拟合模型
模型整体主干结构选择U-Net

算法流程图

Algorithm 1 Training
算法训练

1. 从$q(x_0)$图像中采样得到一部分图像$x_0$
2. 设置t，每张图片的t时刻是不固定的，比如batch =4 第一张。t=30，第二张 t=150
3. 加噪声$ϵ$
4. 噪声和模型预测的噪声 ，损失函数

Algorithm 2 Samping
模型训练完，就不需要前向过程，只用反向做预测

1. 输入不同$t$时刻的图像
2. 随机采样一个$t$，求$x_{t-1}$
3. 这里流程4中的公式，就是$${\hat{u}}_t=\frac{1}{\sqrt{{\alpha }_t}}(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{\bar{z}}_t)$$