DENOISING DIFFUSION IMPLICIT MODELS(DDIM 去噪扩散隐式模型公式推导)

DENOISING DIFFUSION IMPLICIT MODELS(DDIM 去噪扩散隐式模型公式推导)

DDIM思想，去掉DDPM去噪过程的马尔可夫性质，达到跳步去噪的目的。DDIM思想实现方法：假设一个不服从马尔可夫的逆向去噪转移分布$P(x_t\mid x_{t-1},x_0)\sim N(k{x}_0+m{x}_t,{\sigma }^{2}I)$。

推导
$$P(x_{t-1}\mid x_t,x_0)=\frac{P(x_t\mid x_{t-1},x_0)\cdot P(x_{t-1}\mid x_0)}{P(x_t\mid x_0)}\text{\hspace{1em}(1)}$$
其中$P(x_t\mid x_{t-1},x_0)$ 由于不服从马尔可夫性质，不能像DDPM一样化简为$P(x_t\mid x_{t-1})$

现在假设
$$P(x_t\mid x_{t-1},x_0)\sim N(k{x}_0+m{x}_t,{\sigma }^{2}I)\text{\hspace{1em}(2)}$$
显示表达为：
$$x_{t-1}=k{x}_0+m{x}_t+\sigma ϵ\text{\hspace{1em}(3)}$$
由于DDIM的前向加噪过程和DDPM一样，那么：
$$x_t=\sqrt{\overline{{\alpha }_t}}{x}_0+\sqrt{1-\overline{{\alpha }_t}}{ϵ}^{\prime }\text{\hspace{1em}(4)}$$
带入可知：
$$\begin{array}{rl}{x}_{t-1}& =k{x}_0+m(\sqrt{\overline{{\alpha }_t}}{x}_0+\sqrt{1-\overline{{\alpha }_t}}{ϵ}^{\prime })+\sigma ϵ\\ & =(k+m\sqrt{\overline{{\alpha }_t}})x_0+(m\sqrt{1-\overline{{\alpha }_t}}){ϵ}^{\prime }+\sigma ϵ\\ & =(k+m\sqrt{\overline{{\alpha }_t}})x_0+\sqrt{m^2(1-\overline{{\alpha }_t})+{\sigma }^2}ϵ(重参数化技巧)\end{array}\text{\hspace{1em}(5)}$$
由于：
$$x_{t-1}=\sqrt{\overline{{\alpha }_{t-1}}}{x}_0+\sqrt{1-\overline{{\alpha }_{t-1}}}ϵ\text{\hspace{1em}(6)}$$

对比公式(5)(6)得到：
$$\{\begin{array}{ll}k+m\sqrt{\overline{{\alpha }_t}}& =\sqrt{\overline{{\alpha }_{t-1}}}\\ m^2(1-\overline{{\alpha }_t})+{\sigma }^2& =1-\overline{{\alpha }_{t-1}}\end{array}\text{\hspace{1em}(7)}$$
解方程组得到：
$$\{\begin{array}{ll}m& =\frac{\sqrt{1-\overline{{\alpha }_{t-1}}-{\sigma }^2}}{\sqrt{1-\overline{{\alpha }_t}}}\\ k& =\sqrt{\overline{{\alpha }_{t-1}}}-\sqrt{1-\overline{{\alpha }_{t-1}}-{\sigma }^2}\frac{\sqrt{\overline{{\alpha }_t}}}{\sqrt{1-\overline{{\alpha }_t}}}\end{array}\text{\hspace{1em}(8)}$$
带入$m,k$ 得到
$$x_{t-1}=\sqrt{\overline{{\alpha }_{t-1}}}{x}_0+\sqrt{1-\overline{{\alpha }_{t-1}}-{\sigma }^2}\frac{x_t-\sqrt{\overline{{\alpha }_t}}{x}_0}{\sqrt{1-\overline{{\alpha }_t}}}\text{\hspace{1em}(9)}$$
利用公式(4)，将公式(9)中的$x_0$由$x_t$表示,那么可以化简为(${ϵ}_{\theta }(x_t)$ 为公式4中的${ϵ}^{\prime }$)
$$x_{t-1}=\sqrt{\overline{{\alpha }_{t-1}}}(\frac{x_t-\sqrt{1-\overline{{\alpha }_t}}{ϵ}_{\theta }(x_t)}{\sqrt{\overline{{\alpha }_t}}})+\sqrt{1-\overline{{\alpha }_{t-1}}-{\sigma }^2}{ϵ}_{\theta }(x_t)+\sigma ϵ\text{\hspace{1em}(10)}$$
用$s$表示$t-1$,$k$ 表示$t$得出通用公式：
$$x_s=\sqrt{\overline{{\alpha }_s}}(\frac{x_k-\sqrt{1-\overline{{\alpha }_k}}{ϵ}_{\theta }(x_k)}{\sqrt{\overline{{\alpha }_k}}})+\sqrt{1-\overline{{\alpha }_s}-{\sigma }^2}{ϵ}_{\theta }(x_k)+\sigma ϵ\text{\hspace{1em}(11)}$$
通过公式(11)实现DDIM去马尔可夫化，跨越多步采样。

DDIM完结

参考：

DDPM推导

简短清晰的DDIM视频讲解

比较白话的DDIM视频讲解

文章信息

发表时间：2021，发表地点：ICLR，作者：Jiaming Song，机构：stanford

@inproceedings{
song2021denoising,
title={Denoising Diffusion Implicit Models},
author={Jiaming Song and Chenlin Meng and Stefano Ermon},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=St1giarCHLP}
}