ICLR 2024 | 阐明扩散模型中的曝光偏差问题，一行代码大幅提升生成质量

论文链接：

https://arxiv.org/abs/2308.15321

代码连接：

https://github.com/forever208/ADM-ES

摘要

扩散模型在图像生成方面非常成功，但其曝光偏差（exposure bias）的问题（训练和采样过程的输入存在偏差）缺乏深入的探索。在本文中，我们通过首先对真实的采样分布进行分析，并找出了暴露偏差问题的根本原因。此外，我们讨论了该问题一些潜在解决方案，并且提出了一种简单且高效的无需训练的方法，称为 Epsilon Scaling（ES），来减轻暴露偏差。

实验表明，ES 显式地让采样轨迹向训练轨迹（训练得到的向量场）靠近，从而减轻训练和采样之间的输入不匹配。我们在各种扩散模型框架（ADM、DDIM、EDM、LDM、DiT、PFGM++）上验证了 ES 的有效性。比如将 ES 应用于 ADM 上，我们得到了一个 SOTA 的随机采样器：在 100 步无条件生成下，在 CIFAR-10 上获得了 2.17 FID.

扩散模型中的曝光偏差

与自回归的文本生成类似，扩散模型也存在曝光偏差问题。即训练阶段喂给网络的是真值 ，而采样阶段喂给网络的是上一时刻网络预测的 ，由于网络在训练阶段从来没有看过 ，因此无法学习准确的 score 或 epsilon。

真实的采样分布

我们显式地建模真实的采样分布以比较 和 的差异。