【扩散模型第2篇】 去噪扩散隐式模型DDIM

参考：
[1] 张振虎博客DDIM
[2] https://www.bilibili.com/video/BV1Ra4y1F73C/?spm_id_from=333.337.search-card.all.click

1 DDPM简单回顾

DDPM的核心思想是构建一个马尔可夫链式结构，逐步往$x_0$添加不同强度的高斯噪声，令其最终变成标准正态分布，这个过程又叫扩散过程。逆向阶段是降噪的过程，目的是为了估计降噪转换核$p(x_{t-1}|x_t)$,就可以从一个正态分布的高斯噪声$x_T$逐步降噪生成近似于真实图像数据的概率分布，就可以去采样生成一张新图像了。

整个网络的概率分布可以由$p(x_{0:T})$表示，根据链式法则，扩散过程可以表示为：
$$p(x_{0:T})=q(x_0)\prod _{t=1}^{T}q(x_t|x_{t-1})$$
前向扩散过程的转换核$p(x_t|x_{t-1})$是线性高斯转换，概率密度为
$$p(x_t|x_{t-1})=N(\sqrt{{\alpha }_t}{x}_{t-1},\sqrt{1-{\alpha }_t}I)$$
既在$x_{t-1}$的基础上添加高斯噪声得到$x_t$，高斯噪声的均值为0，方差为$1-{\alpha }_t$。再利用条件高斯概率的计算技巧，可以得到
$$q(x_t|x_0)=N(\sqrt{{\bar{\alpha }}_t}{x}_0,\sqrt{1-{\alpha }_t}ϵ)$$

逆向过程的联合概率可以表示为
$$p(x_{0:T})=p(x_T)\prod _{t=1}^{T}p(x_{t-1}|x_t)$$

我们的主要目标就是估计降噪的转换核$p(x_{t-1}|x_t)$的近似表示，根据似然最大理论，我们要极大化观测数据$x_0$的对数似然（$x_{1:T}$均为隐变量），既
$$logp(x_0)=log\int p(x_{0:T})d{x}_{1:T}$$
但正是因为隐变量的积分形式，导致无法直接极大化对数似然。但可以利用詹森不等式对该形式进行等价替换，既
$$\begin{array}{rl}{E}_{q(x_0)}[logp(x_0)]& \ge E_{q(x_{1:T}|x_0)}[log\frac{p(x_{0:T)}}{q(x_{1:T}|x_0)}]\\ & \Rightarrow E_{q(x_1|x_0)}[log{p}_{\theta }(x_0|x_1)]-\sum _{t=2}^T{E}_{q(x_t|x_0)}[KL(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t)]\end{array}$$

代入各项之后可以得到最终的优化目标是一个均方误差，既
$$L:=\sum _{t=1}^{T}C{E}_{q(x_t|x_0)}[||{ϵ}_t-{\widehat{ϵ}}_{\theta }(x_t,t)|{|}^2]$$

2 DDIM解决了什么

2.1 DDPM的问题和可能解决方法

众所周知，DDPM的一个缺点就是其采样生成的过程十分缓慢，明显且主要的一个原因就是，降噪采样过程的TimeSteps通常是非常大的，在DDPM原论文中，$T=1000$。而降噪过程是一步一步降噪的。那么

（1） 是否能令$T$更小一些？
答： 不可以。 由DDPM可知，
$$\begin{gathered} x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}ϵ,ϵ\sim N(0,1) \\ {x}_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,ϵ\sim N(0,1) \end{gathered}$$
而$\beta$的值介于(0.02,0.0001)之间，随着$t$增大，${\beta }_1<{\beta }_2<...<{\beta }_t$，也就是${\alpha }_1>...>{\alpha }_t$，也就是$t$越大，${\bar{\alpha }}_t$越小（因为$\alpha$都小于1）
也就是说，只有$t$非常大的时候，$\sqrt{{\bar{\alpha }}_t}$才能非常小，$\sqrt{1-{\bar{\alpha }}_t}$才能接近于1，我们得到的$x_t$才能近似于$ϵ\sim N(0,1)$。 所以不可以。

（2） 是否能跳步采样呢？
答： 同样也不可以，我们的模型的最终要拟合的概率分布
$$p(x_{t-1}|x_t,x_0)=\frac{p(x_t|x_{t-1},x_0)p(x_{t-1}|x_0)}{p(x_t|x_0)}$$
都是基于马尔科夫链才得到的，如果我们跳步采样，那就是不遵循马尔科夫过程，那么以上公式也就不成立。

ps. 为什么说我们的最终目标是拟合上边这个后验分布呢？我们的模型不是输出噪声吗？我们的模型输出噪声${ϵ}_{\theta }$,随后我们会根据${\hat{x}}_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }}{\sqrt{{\bar{\alpha }}_t}}$的式子去得到${\hat{x}}_0$，然后我们根据$p(x_{t-1}|x_t,x_0)$的均值公式代入$x_t，{\hat{x}}_0$去计算出${\mu }_{\theta }$，我们这个${\mu }_{\theta }$才是模型的输出，也就是该概率分布的期望。

2.2 去马尔可夫过程

再来看$p(x_{t-1}|x_t,x_0)$，我们需要知道前提条件$x_0$和$x_t$，而$x_0$是我们的观测数据，$x_t$可以由$q(x_t|x_0)$得到，所以说$x_t$也不依赖于$x_{t-1}$。那么$q(x_t|x_0)$是如何得来的呢？它是由联合概率的边际化得到的，也就是：
$$q(x_t|x_0)=\int q(x_{1:t}|x_0)d{x}_{1:t-1}$$
在DDPM论文中，对其分解是利用马尔科夫链的形式分解的，但无论如何分解，最终都是将积分形式去掉，还有很多种不同的分解方法，但无论如何分解，最终的$q(x_t|x_0)$的结构都是一样的，所以前向过程的马尔科夫链不是必须的。

我们只要保持$p(x_{t-1}|x_t,x_0)$和$q(x_t|x_0)$的形式和DDPM保持一致，我们就可以构建一个非马尔可夫链的DDPM等价模型，也就可以实现跳步采样操作了。

以下为正式推导过程

我们可以设 $s\le k-1$（如果$s=k-1$的话实际上就相当于$t,t-1$了），为了保持形式不变，我们有：
$$p(x_s|x_k,x_0)=\frac{p(x_k|x_s,x_0)p(x_s|x_0)}{p(x_k|x_0)}$$
且已知DDPM中，$p(x_{t-1}|x_t,x_0)$的均值和$x_t,x_0$有关，所以我们可以设
$$p(x_s|x_k,x_0)=N(x_s;k{x}_0+m{x}_k,{\sigma }^{2}I)$$
其中$k,m,\sigma$均为未知量。对于非马尔可夫过程，$p(x_t|x_0)$也是成立的。所以有：
$$\begin{array}{rl}{x}_s& =k{x}_0+m{x}_k+\sigma {ϵ}_1\\ & =k{x}_0+m(\sqrt{{\bar{\alpha }}_k}{x}_0+\sqrt{1-{\bar{\alpha }}_k}{ϵ}_2)+\sigma {ϵ}_1\\ & =(k+m\sqrt{{\bar{\alpha }}_k})x_0+m\sqrt{1-{\bar{\alpha }}_k}{ϵ}_2+\sigma {ϵ}_1\\ & =(k+m\sqrt{{\bar{\alpha }}_k})x_0+\sqrt{m^2(1-{\bar{\alpha }}_k)+{\sigma }^2}ϵ\\ & =\sqrt{{\bar{\alpha }}_s}{x}_0+\sqrt{1-{\bar{\alpha }}_s}ϵ\end{array}$$

所以我们可以得到：
$$\begin{array}{rl}m& =\sqrt{\frac{1-{\bar{\alpha }}_s-{\sigma }^2}{1-{\bar{\alpha }}_k}}\\ k& =\sqrt{{\bar{\alpha }}_s}-\sqrt{\frac{{\bar{\alpha }}_k(1-{\bar{\alpha }}_s-{\sigma }^2)}{1-{\bar{\alpha }}_k}}\end{array}$$
将其代入到${\mu }_p=k{x}_0+m{x}_k$，得
$${\mu }_p=\sqrt{{\bar{\alpha }}_s}{x}_0+\sqrt{\frac{1-{\bar{\alpha }}_s-{\sigma }^2}{1-{\bar{\alpha }}_k}}(x_k-\sqrt{{\bar{\alpha }}_k}{x}_0)$$

所以我们最终得到非马尔可夫链的后验分布
$$p(x_s|x_k,x_0)\sim N(\sqrt{{\bar{\alpha }}_s}{x}_0+\sqrt{\frac{1-{\bar{\alpha }}_s-{\sigma }^2}{1-{\bar{\alpha }}_k}}(x_k-\sqrt{{\bar{\alpha }}_k}{x}_0),{\sigma }^{2}I)$$
同样，我们将${\hat{x}}_0=\frac{x_k-\sqrt{1-{\bar{\alpha }}_k}{\widehat{ϵ}}_k(x_k,k)}{\sqrt{{\bar{\alpha }}_k}}$代入上式，我们可以得到$x_s$的采样公式：
$$\begin{array}{rl}{x}_s& =\sqrt{{\bar{\alpha }}_s}{x}_0+\sqrt{1-{\bar{\alpha }}_s-{\sigma }^2}\frac{x_k-\sqrt{{\bar{\alpha }}_k}{x}_0}{\sqrt{1-{\bar{\alpha }}_k}}+\sigma {ϵ}_k^{\ast }\\ & =\sqrt{{\bar{\alpha }}_s}(\frac{x_k-\sqrt{1-{\bar{\alpha }}_k}{\widehat{ϵ}}_k(x_k,k)}{\sqrt{{\bar{\alpha }}_k}})+\sqrt{1-{\bar{\alpha }}_s-{\sigma }^2}{\widehat{ϵ}}_k+\sigma {ϵ}_k^{\ast }\end{array}$$
其中${\widehat{ϵ}}_k$为预测的噪声，${ϵ}_k^{\ast }$为随机采样的标准高斯噪声。又或者符号变为以下：

2.3 标准差的选取

当标准差设为${\sigma }^2=\frac{(1-{\alpha }_t)(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}$ （DDPM的形式）

这时DDIM就退化为了DDPM，推导公式如下：

可见DDPM的期望和DDIM的期望一致，所以说DDPM是DDIM的特例。

当标准差设为${\sigma }^2=0$

直观来说，就是采样公式的随机噪声项$\sigma {ϵ}_k^{\ast }$没了，相当于$x_s$等于$p(x_s|x_k,x_0)$的期望。这意味着：

1. $x_s$不再是从$p(x_s|x_k,x_0)$随机采样，而是采样其均值，又其满足高斯分布，也就是采样概率密度分布的最高点，也就是最大概率的采样点。
2. 没有了随机噪声项，整个式子也就变成了确定性等式计算。

那么它是如何加速采样的呢？（以下是从随机性的直观角度，论文是从子序列角度）

方差不为0，相当于$x_t$到$x_{t-1}$的每一步都是随机采样，随机性不可控，会走很多弯路，相当于从$x_T$到$x_0$，虽然目的地方向（期望）是确定的，但是总是在该方向上加上一点随机噪声，自然到达$x_0$的步长会大一些。

方差为0时，笔直地沿着期望的方向走，自然就更快了。

基于分数的生成模型，分数等价于$p(x_t)$的梯度，既沿着$p(x_0)$的方向。我们可以知道梯度和噪声之间的关系：
$$\nabla logp(x_t)=-\frac{1}{\sqrt{1-{\bar{\alpha }}_t}}{\widehat{ϵ}}_t(x_t,t)$$
所以${\hat{x}}_0$可以用该公式替代掉噪声：
$${\hat{x}}_0=\frac{x_k+(1-{\bar{\alpha }}_k)\nabla logp(x_k)}{\sqrt{{\bar{\alpha }}_k}}$$
再将这一项代入$x_s$的采样公式里
$$\begin{array}{rl}{x}_s& =\sqrt{{\bar{\alpha }}_s}{\hat{x}}_0+\sqrt{1-{\bar{\alpha }}_s-{\sigma }^2}\frac{x_k-\sqrt{{\bar{\alpha }}_k}{\hat{x}}_0}{\sqrt{1-{\bar{\alpha }}_k}}+\sigma {ϵ}_k^{\ast }\\ & =\sqrt{{\bar{\alpha }}_s}\frac{x_k+(1-{\bar{\alpha }}_k)\nabla logp(x_k)}{\sqrt{{\bar{\alpha }}_k}}\\ & +\sqrt{1-{\bar{\alpha }}_s-{\sigma }^2}[x_k+\sqrt{{\bar{\alpha }}_k}(\frac{x_k+(1-{\bar{\alpha }}_k)\nabla logp(x_k)}{\sqrt{{\bar{\alpha }}_k}})]+\sigma {ϵ}_k^{\ast }\\ & =...(懒得推了）\\ & =\sqrt{\frac{{\bar{\alpha }}_s}{{\bar{\alpha }}_k}}{x}_k+(\sqrt{\frac{{\bar{\alpha }}_s}{{\bar{\alpha }}_k}}(1-{\bar{\alpha }}_k)-\sqrt{1-{\bar{\alpha }}_s-{\sigma }^2}{\bar{\alpha }}_k)\nabla logp(x_k)+\sigma {ϵ}_k^{\ast }\\ & :=A{x}_k+B\nabla logp(x_k)+\sigma {ϵ}_k^{\ast }\end{array}$$
这就是梯度下降，$\sigma =0$，则收敛速度变快

3 小结（不同的地方）

1. 采样间距：采样间距可以设置为间隔50步采样等；
2. 采样公式：