【算法解析】扩散模型中的Noise Scheduler技术解析

在深度学习领域，扩散模型（Diffusion Models）近年来受到了广泛的关注，特别是在图像生成领域。本文将深入探讨扩散模型中的核心组件之一——Noise Scheduler，以及其在生成高质量图像过程中的作用。

Diffusers库中的Schedulers

Diffusion模型的实现依赖于两个核心组件：模型（models）和调度器（schedulers）。Diffusers库提供了丰富的模型和调度器实现，用于构建和训练扩散模型。

扩散模型的通用流程

在训练过程中，扩散模型首先生成一个与输入图像相同尺寸的噪声图像。在每个时间步（timestep），模型会预测噪声残差，然后调度器根据预测出的噪声残差生成一张噪声较少的图像。这个过程会重复进行，直到达到预设的最大时间步，最终生成一张高质量的图像。

Scheduler与PyTorch Scheduler的区别

在扩散模型中，Scheduler是一个采样器，用于将噪声图像还原为原始图像。而在PyTorch中，Scheduler通常指的是学习率调整策略，如余弦退火策略或指数衰减策略。

核心Schedulers原理

1. DDPM (Denoising Diffusion Probabilistic Models)

DDPM是扩散模型的一个经典实现，其模型和调度器对应于论文中的两个算法。

Model学习

模型的学习对应于算法1：

加噪过程可以表示为：
$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$$

其中，${\bar{\alpha }}_t$ 是人为设置的超参数序列，随着时间步$t$的增加而减小。${\alpha }_t$ 由 ${\beta }_t$ 得到，${\alpha }_t=1-{\beta }_t$。${\beta }_1,{\beta }_2,\cdots ,{\beta }_T$ 是超参数，随着 $t$ 的增大，${\beta }_t$ 逐步变大，${\bar{\alpha }}_t$ 逐步变小。

预测的噪声为：
$${ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t)$$
与模型参数 $\theta$ 相关，$t$ 代表当前的时间步。

Scheduler设计

Scheduler的设计对应于算法2：

训练好的模型从最后一个时刻 $T$ 开始，传入一个纯噪声图像，逐步进行去噪，从 $x_t$ 推出 $x_{t-1}$。

去噪过程可以表示为：
$$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right)$$

其中，${\sigma }_t\mathbf{z}$ 是为了增加推理中的随机性而额外增加的项，类似于GPT中为了增加回答多样性而引入的随机选择方法。

$${\sigma }_t^2=\frac{(1-{\alpha }_t)(1-{\bar{\alpha }}_{t-1})}{1-{\bar{\alpha }}_t}$$

在DDPM论文中，已通过实验证明可以使用 ${\sigma }_t^2={\beta }_t$，因此源码中也选用了后者。

总结

通过上述分析，我们可以看到Noise Scheduler在扩散模型中扮演着至关重要的角色。它不仅负责将噪声图像逐步还原为原始图像，还通过引入随机性来增加生成图像的多样性。DDPM作为扩散模型的一个经典实现，其模型和调度器的设计为我们提供了深入理解扩散模型的窗口。

参考

• DDPM论文