【深度学习】Progressive Distillation for Fast Sampling of Diffusion Models

论文：https://arxiv.org/abs/2202.00512v2

这篇论文提出了一种"渐进式蒸馏"(Progressive Distillation)的方法,来大幅降低用于生成对抗网络(GAN)的扩散模型(Diffusion Model)在推理阶段的采样步数,从而提高其推理效率。主要贡献有:

1. 提出了一种新的扩散模型参数化方式,使得模型在采样步数较少时也能保持稳定。
2. 提出了一种渐进式的蒸馏算法,将原先需要几千步采样的扩散模型蒸馏成只需4步采样就能生成高质量样本的新模型。
3. 证明了整个渐进式蒸馏过程的计算开销不会超过训练原始模型的开销,从而实现了在训练和推理阶段都高效的生成建模。
   论文在标准的图像生成基准测试上,如CIFAR-10、ImageNet和LSUN,展示了其所提方法的有效性。通过渐进式蒸馏,论文将原始需要8192步采样的模型成功蒸馏为只需4步采样就能取得接近的生成质量的新模型,大幅提高了扩散模型的推理效率。

（1）新的扩散模型参数化方式及其稳定性：
在论文中，为了提高扩散模型在使用较少采样步骤时的稳定性，提出了几种新的参数化方式。这些参数化方式包括：

• 直接预测去噪后的样本 ( \hat{x} )。
• • 通过神经网络的两个独立输出通道分别预测样本 ( \hat{x} ) 和噪声 ( \hat{\epsilon} )，然后