两步蒸馏方法来提升无分类器指导的采样效率

斯坦福大学和谷歌大脑的研究者提出使用两步蒸馏方法来提升无分类器指导的采样效率。该方法能够在 ImageNet 64x64 和 CIFAR-10 上使用少至 4 个采样步骤生成视觉上与原始模型相当的图像，实现与原始模型的采样速度提高了 256 倍。

去噪扩散概率模型（DDPM）在图像生成、音频合成、分子生成和似然估计领域都已经实现了 SOTA 性能。同时无分类器（classifier-free）指导进一步提升了扩散模型的样本质量，并已被广泛应用在包括 GLIDE、DALL·E 2 和 Imagen 在内的大规模扩散模型框架中。

然而，无分类器指导的一大关键局限是它的采样效率低下，需要对两个扩散模型评估数百次才能生成一个样本。这一局限阻碍了无分类指导模型在真实世界设置中的应用。尽管已经针对扩散模型提出了蒸馏方法，但目前这些方法不适用无分类器指导扩散模型。

为了解决这一问题，斯坦福大学和谷歌大脑的研究者在论文《On Distillation of Guided Diffusion Models》中提出使用两步蒸馏（two-step distillation）方法来提升无分类器指导的采样效率。

在第一步中，他们引入单一学生模型来匹配两个教师扩散模型的组合输出；在第二步中，他们利用提出的方法逐渐地将从第一步学得的模型蒸馏为更少步骤的模型。

利用提出的方法，单个蒸馏模型能够处理各种不同的指导强度，从而高效地对样本质量和多样性进行权衡。此外为了从他们的模型中采样，研究者考虑了文献中已有的确定性采样器，并进一步提出了随机采样过程。

论文地址：https://arxiv.org/pdf/2210.03142.pdf

研究者在 ImageNet 64x64 和 CIFAR-10 上进行了实验，结果表明提出的蒸馏模型只需 4 步就能生成在视觉上与教师模型媲美的样本，并且