DDPM扩散模型数学推导

扩散过程

$$x_0\to x_1\to x_2\to \cdots \to x_N\sim N(0,I)$$

在原始数据分布上添加高斯噪声，使之在最后成为一个纯噪声。
$${\alpha }_t=1-{\beta }_t$$

扩散过程中$\beta$越来越大，$\alpha$越来越小。

加噪公式：
$$x_t=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t$$
其中$ϵ\sim N(0,1)$，噪声参数增大使得在扩散过程中的不同步骤间相对的扩散幅度一致。

对于$x_{t-1}$有：
$$x_{t-1}=\sqrt{{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_{t-1}}{ϵ}_{t-1}$$
代入上式得：
$$x_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{{\alpha }_t(1-{\alpha }_{t-1})}{ϵ}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t$$
这里有两个正态分布${ϵ}_t,{ϵ}_{t-1}$，要对他们的结果进行求和，可以使用卷积，当然也可以直接根据正态分布求和的性质，可知求和后的方差为之前两个方差之和：
$$x_t=\sqrt{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt{1-{\alpha }_t{\alpha }_{t-1}}ϵ$$
不断向后迭代代入，可得：
$$x_t=\sqrt{\prod _{i=0}^t{\alpha }_i}{x}_0+\sqrt{1-\prod _{i=0}^t{\alpha }_i}ϵ$$这里$ϵ$是另一个新的服从$\mathcal{N}(0,1)$的分布，记 ${\overline{\alpha }}_t={\prod }_{i=0}^t{\alpha }_i$，正向过程的表达式可写为
$$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$$

逆向过程

要倒推的话，根据贝叶斯公式：
$$P(x_{t-1}|x_t)=\frac{P(x_t|x_{t-1})P(x_{t-1})}{P(x_t)}$$写的更完整一点，加上given $x_0$，得到
$$P(x_{t-1}|x_t,x_0)=\frac{P(x_t|x_{t-1},x_0)P(x_{t-1}|x_0)}{P(x_t|x_0)}$$这三个概率可以分别替换成其属于的正态分布：
$$\begin{gathered} P(x_t|x_{t-1},x_0)=\sqrt{{\alpha }_t}{x}_{t-1}+\sqrt{1-{\alpha }_t}{ϵ}_t\sim \mathcal{N}(\sqrt{{\alpha }_t}{x}_{t-1},1-{\alpha }_t) \\ P(x_{t-1}|x_0)={\sqrt{\overline{\alpha }}}_{t-1}{x}_0+\sqrt{1-{\overline{\alpha }}_{t-1}}ϵ\sim \mathcal{N}({\sqrt{\overline{\alpha }}}_{t-1}{x}_0,1-{\overline{\alpha }}_{t-1}) \\ P(x_t|x_0)={\sqrt{\overline{\alpha }}}_t{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ\sim \mathcal{N}({\sqrt{\overline{\alpha }}}_t{x}_0,1-{\overline{\alpha }}_t) \end{gathered}$$
将这三个分布带入贝叶斯公式进行计算化简，得到$P(x_{t-1}|x_t,x_0)$满足的分布
$$P(x_{t-1}|x_t,x_0)\sim \mathcal{N}(\frac{\sqrt{a_t}(1-{\overline{a}}_{t-1})}{1-{\overline{a}}_t}{x}_t+\frac{\sqrt{a_{t-1}}(1-{\overline{a}}_t)}{1-{\overline{a}}_t}{x}_0,(\frac{\sqrt{1-a_t}\sqrt{1-{\overline{a}}_{t-1}}}{\sqrt{1-{\overline{a}}_t}}{)}^2)$$同时，将$x_0$由上面的公式$x_t=\sqrt{{\overline{\alpha }}_t}{x}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$反解带入，得到
$$P(x_{t-1}|x_t,x_0)\sim \mathcal{N}(\frac{\sqrt{a_t}(1-{\overline{a}}_{t-1})}{1-{\overline{a}}_t}{x}_t+\frac{\sqrt{a_{t-1}}(1-{\overline{a}}_t)}{1-{\overline{a}}_t}\times \frac{x_t-\sqrt{1-{\overline{a}}_t}\times ϵ}{\sqrt{{\overline{a}}_t}},(\frac{\sqrt{1-a_t}\sqrt{1-{\overline{a}}_{t-1}}}{\sqrt{1-{\overline{a}}_t}}{)}^2)$$
这里面只有从$x_0$到$x_t$添加的噪声$ϵ$是未知，如果我们使用神经网络来预测这里添加的$ϵ$是什么，就可以得到$x_{t-1}$遵循的正态分布，再从该分布中进行一次采样，即可得到$x_{t-1}$，如此循环以上过程，即可不断倒退到最开始的图片$x_0$。