Diffusion Model合集 part3

而我们可以有多种建模目标：
$$L_{t-1}={\mathbb{E}}_q\left[\frac{1}{2{\sigma }_t^2}||\stackrel{\sim }{{\mu }_t}({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mu }_{\theta }({\mathbf{x}}_t,t)|{|}^2\right]+C$$
【1】直观的做法是让 $D_{\theta }$ 网络的输出等于前向过程中的后验分布均值 $\stackrel{\sim }{{\mu }_t}(x_t,x_0)$，这种建模方法俗称预测后验分布的期望值；

【2】根据$\stackrel{\sim }{{\mu }_t}(x_t,x_0)$的表达式，它里面的$x_0$对于$D_{\theta }$网络是未知的，因此第二种做法是让$D_{\theta }$网络的输出等于$x_0$，这种做法即直接预测原始数据。
有人问：既然可以通过$D_{\theta }$网络直接预测$x_0$了，那是不是采样过程就直接计算$D_{\theta }(x_T,T)$的输出即可认为是生成了样本了呢？
答案是：直接一步到位，质量会比较差，还是需要通过马尔科夫高斯条件迭代而获得最终高质量的生成样本；
$$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{{\beta }_t\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_t}{x}_0$$

• $x_t,t\to {\mu }_{\theta }$中得到$x_0$
• 将上面得到的$x_0$，和已知的$x_t$输入到$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)$中，则前向过程中的后验分布均值$\stackrel{\sim }{{\mu }_{\mathrm{t}}}$就知道了
• 所以就可以根据对应的$q(x_{t-1}|x_t,x_0\sim N(\stackrel{\sim }{{\mu }_{\mathrm{t}}},\stackrel{\sim }{{\beta }_{\mathrm{t}}}\mathrm{I})$高斯分布重采样，得到$x_{t-1}$，即$t-1$时刻的样本；同理，迭代最后生成$x_0$

【3】当我们把$\stackrel{\sim }{\mu }(x_t,x_0)$中的$x_0$用$x_t$去表示的时候，$\stackrel{\sim }{\mu }(x_t,x_0)$就变成了如下只包含$x_t$和随机变量$ϵ$的式子，记为$\stackrel{\sim }{\mu }(x_t,ϵ)$。其中$x_t$对于D网络是已知的，而$ϵ$是未知的，因此这个时候，我们可以选择建模目标是让$D_{\theta }$网络的输出等于$ϵ$了（得到$ϵ$后,再带入$\stackrel{\sim }{\mu }(x_t,ϵ)$，就可以用重采样技巧推出$x_{t-1}$,$\cdots$不断迭代$\cdots$就可以求出$x_0$），这种建模方法俗称随机变量(噪音)法。

总结：上面【1】【2】【3】殊途同归，都是为了预测$q(x_{t-1}|x_t,x_0)$的均值$\stackrel{\sim }{\mu }$

$$\begin{array}{rl}{L}_{t-1}-C& ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[\frac{1}{2{\sigma }_t^2}\Vert {\stackrel{\sim }{\mu }}_t\left({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t({\mathbf{x}}_0,ϵ)-\sqrt{1-{\bar{\alpha }}_t}.ϵ)\right)-{\mu }_{\theta }({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),t){\Vert }^2\right]\\ & \\ & ={\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[\frac{1}{2{\sigma }_t^2}\Vert \underset{{\stackrel{\sim }{\mu }}_t}{\underbrace{\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t({\mathbf{x}}_0,ϵ)-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}.ϵ\right)}}-\underset{{\mu }_{\theta }}{\underbrace{{\mu }_{\theta }({\mathbf{x}}_t({\mathbf{x}}_0,ϵ),t)}}{\Vert }^2\right]⑥\end{array}$$

在DDPM论文中，作者选择了方案【3】，即让$D_{\theta }$网络的输出等于$ϵ$, 预测噪音法。于是，新的逆向条件分布的均值可以表示成（下式中的${ϵ}_{\theta }$相当于我们定义的广义的$D_{\theta }$网络的具体目标形式）：
$${\mu }_{\theta }({\mathbf{x}}_t,t)=\stackrel{\sim }{{\mu }_t}\left({\mathbf{x}}_t,\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}.{ϵ}_{\theta }({\mathbf{x}}_t))\right)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}.{ϵ}_{\theta }({\mathbf{x}}_t,t)\right)⑦$$

在DDPM论文中预测的就是$ϵ$, 所以就是让上式⑥中的 ${\stackrel{\sim }{\mu }}_t$ 尽可能地接近于 ${\mu }_{\theta }$ ,所以才有了上式⑦

又因为在前面我们已知：
$$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)=\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t+\frac{{\beta }_t\sqrt{{\bar{\alpha }}_{t-1}}}{1-{\bar{\alpha }}_t}{x}_0$$
$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}{z}_t$，我们可以知道：$x_0=\frac{1}{\sqrt{{\bar{\alpha }}_t}}(x_t-\sqrt{1-{\bar{\alpha }}_t}{z}_t)$
所以：$$\stackrel{\sim }{{\mu }_{\mathrm{t}}}({\mathrm{x}}_{\mathrm{t}},{\mathrm{x}}_0)\to \stackrel{\sim }{{\mu }_t}\left({\mathbf{x}}_t,\frac{1}{\sqrt{{\bar{\alpha }}_t}}({\mathbf{x}}_t-\sqrt{1-{\bar{\alpha }}_t}.{ϵ}_{\theta }({\mathbf{x}}_t))\right)$$
说明：$z_t$就是噪声，即下面的${ϵ}_{\theta }({\mathbf{x}}_t)$,至于为什么写成${ϵ}_{\theta }({\mathbf{x}}_t)$,而不是$ϵ$？
因为这里我们定义${ϵ}_{\theta }({\mathbf{x}}_t)$是一个函数近似，可以根据输入${\mathbf{x}}_t$来预测出$ϵ$
因为${\mathbf{x}}_t$不含参数，所以它可以看作常量，我们就把参数转移到随机量$ϵ$中

• ${\mathbf{x}}_t({\mathbf{x}}_0,ϵ)$就说明了${\mathbf{x}}_t$和$ϵ$是有一定关系的，现在我们把${\mathbf{x}}_t$看作常量，那就可以求出来$ϵ$了，所以我们就定义了一个函数${ϵ}_{\theta }({\mathbf{x}}_t)$,可以根据输入${\mathbf{x}}_t$来预测出$ϵ$

前面说到逆扩散过程中有$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mu }_{\theta }({\mathbf{x}}_t,t),{\Sigma }_{\theta }({\mathbf{x}}_t,t))$,实际上在论文中作者设置${\Sigma }_{\theta }({\mathbf{x}}_t,t)={\sigma }_t\mathbf{I}$,所以有：$p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mu }_{\theta }({\mathbf{x}}_t,t),{\sigma }_t\mathbf{I})$，利用参数重整化（$\mathbf{z}\sim N(0,I)$），得到：${\mathbf{x}}_{t-1}={\sigma }_t.\mathbf{z}+{\mu }_{\theta }$, 带入式子⑦即得：
$${\mathbf{x}}_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}.{ϵ}_{\theta }({\mathbf{x}}_t,t))+{\sigma }_t.\mathbf{z}$$

于是$L_{t-1}$可以化简成如下表达式：
$${\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[\frac{{\beta }_t^2}{2{\sigma }_t^2{\alpha }_t(1-{\bar{\alpha }}_t)}{\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t)\Vert }^2\right]$$

上式化简的过程中，${\mathbf{x}}_t$和${\mathbf{x}}_t({\mathbf{x}}_0,ϵ)$是一样的，可以互相消掉。

DDPM作者又发现，干脆将系数丢掉，训练更加稳定，质量更好，于是有了下面的$L_{simple}$:
$$L_{simple}(\theta )={\mathbb{E}}_{{\mathbf{x}}_0,ϵ}\left[{\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t)\Vert }^2\right]$$

八，Diffusion Probabilistic Model的算法代码

• Training
  $t\in (0,T)$,$T$是可以在前面求出为多少合适的,且 $t$ 是一个embedding
  训练的过程 $\approx$ 优化 $-\log p_{\theta }(x_0)$
• Sampling
  迭代的次数越多，生成的概率分布越准确
  后续的改进：优化迭代次数(减少耗时)