论文阅读：Improved Denoising Diffusion Probabilistic Models

本文是对ddpm简单的修改，但是能提高ddpm的性能

论文下载地址：https://proceedings.mlr.press/v139/nichol21a.html

我们发现反向过程中可学习的方差允许一个数量级的采样，样本质量的差异可以忽略不计，这对于模型的实际部署很厉害。

• 关于变分下界的优化

使用简单的重参数化技巧学习优化变分下界。反向过程的方差使用简单的重参数化技巧和一个混合的目标vlb函数。

这样的变化导致少的采样步数，但是发生了很小的质量改变

• 在实际训练中，关于$\mu (x_t,t)$的参数化的方式

• 使用网络预测$x_0$,然后使用公式
  $\bar{\mu }(x_t,x_0):=\frac{\sqrt{{\bar{a}}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t$可以得到均值。

• 也可以使用网络预测$\epsilon$,然后使用

  $x_t={\sqrt{\bar{\alpha }}}_t{x}_0+({\sqrt{1-\bar{\alpha }}}_t)I$

  $\bar{\mu }(x_t,x_0):=\frac{\sqrt{{\bar{a}}_{t-1}}{\beta }_t}{1-{\bar{\alpha }}_t}+\frac{\sqrt{{\alpha }_t}(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}{x}_t$去生成均值 $\bar{\mu }(x_t,x_0)$

目前这种方法是最好的，尤其是结合重新加权的损失函数

$L_{\text{simple }}=E_{t,x_0,ϵ}\left[{\Vert ϵ-{ϵ}_{\theta }\left(x_t,t\right)\Vert }^2\right]$

原本的lvb损失
$$L_{\mathrm{vlb}}:=L_0+L_1+\dots +L_{T-1}+L_T$$
$$L_0:=-\log p_{\theta }\left(x_0\mid x_1\right)$$

$$L_{t-1}:=D_{KL}(q\left(x_{t-1}\mid x_t,x_0\right)||p_{\theta }(x_{t-1}|x_t))$$
$$L_T:=D_{KL}\left(q\left(x_T\mid x_0\right)\Vert p\left(x_T\right)\right)$$

对数似然的改进

为研究不同流形上的作用，在image net64*64 上训练固定的模型结构使用固定的超参数。

• 不同的实验设置对比

方法	ho（2020）	our
损失函数及参数设置	$L_{simple}$ & ${\sigma }^2={\beta }_t$ & $T=10000$	$L_{\mathrm{hybrid}}=L_{\text{simple }}+\lambda L_{\mathrm{vlb}},\lambda =0.001$
训练轮数	200k
T	1000	4000
数据集	image_net64*64
实验结果	3.99	3.77

学习${\Sigma }_{\theta }\left(x_t,t\right)$

• 在无限步长的扩散的过程条件下，方差的作用远没有均值对实验结果的影响大。或者说，方差几乎不发挥作用。

• 实验中，我们发现扩散过程前几步对整个扩散过程很重要。于是，通过使用更好的${\Sigma }_{\theta }\left(x_t,t\right)$可以很大程度上提高对数释然。

• 合理的${\Sigma }_{\theta }\left(x_t,t\right)$的范围很小，对于神经网络去寻找一个合理的${\Sigma }_{\theta }\left(x_t,t\right)$不是容易的，

• 我们发现更好的参数化${\Sigma }_{\theta }\left(x_t,t\right)$是差值${\bar{\beta }}_t$和${\beta }_t$在对数域。我们的模型输出$v$,每个维度包含一个分量，然后将这个输出转换为如下方差：
  ${\Sigma }_{\theta }\left(x_t,t\right)=\exp \left(v\log {\beta }_t+(1-v)\log {\tilde{\beta }}_t\right)$

• $trick$
  stop- gradient

改善噪声机制

线性噪声机制对于高分辨率图像很好，在分辨率小的图像上结果次优。ddpm中的前向加噪过程对采样过程没有太大的贡献。

• 原本的加噪机制：

$q(x_1,\dots ,x_T|x_0):={\prod }_{t=1}^{T}q\left(x_t\mid x_{t-1}\right)$

$q(x_t|x_{t-1}):=\mathcal{N}\left(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_t\mathbf{I}\right)$

对任何时刻的加噪样本：

$\begin{array}{rl}q\left(x_t\mid x_0\right)& =\mathcal{N}\left(x_t;\sqrt{{\bar{\alpha }}_t}{x}_0,\left(1-{\bar{\alpha }}_t\right)\mathbf{I}\right)\\ x_t& =\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ\end{array}$

• 加噪机制的改进：

  ${\bar{\alpha }}_t=\frac{f(t)}{f(0)},f(t)=\cos {\left(\frac{t/T+s}{1+s}\cdot \frac{\pi }{2}\right)}^2$
  其中：
  ${\beta }_t=1-\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_{t-1}}$

  • 为了防止开始时${\beta }_t,t=0$太小，使得网络在预测噪声的时候很困难。我们让$\sqrt{{\beta }_0}$=1/127.5=0.008。
  • 在实际中使用$co{s}^2$
  • 不同的$L_{vlb}$有不同边际。采样t均匀的会引起没必要的噪声在$L_{vlb}$中。我们使用重要性采样：
    $L_{\mathrm{vlb}}=E_{t\sim p_t}\left[\frac{L_t}{p_t}\right]\text{, where }{p}_t\propto \sqrt{E\left[L_t^2\right]}\text{ and }\sum p_t=1$,由于
    $E\left[L_t^2\right]$是未知的，可能在整个训练过程中发生变化。于是，我们的每个损失保持10个值的历史，并在训练期间动态更新。训练开始，我们均匀的采样十个样本，$t\in [0,T-1]$。

总结

• 损失函数的改进
• 噪声机制使用cos