Improved Techniques for Training Consistency Models

本文是LLM系列文章，针对《Improved Techniques for Training Consistency Models》的翻译。

摘要

一致性模型是一个新生的生成模型家族，它可以在不需要对抗性训练的情况下一步采样高质量的数据。当前的一致性模型通过从预先训练的扩散模型中提取并使用学习的度量（如LPIPS）来实现最佳样本质量。然而，蒸馏将一致性模型的质量限制为预先训练的扩散模型的质量，并且LPIPS在评估中导致不希望的偏差。为了应对这些挑战，我们提出了改进的一致性训练技术，即一致性模型直接从数据中学习，而不进行蒸馏。我们深入研究了一致性训练背后的理论，并发现了一个以前被忽视的缺陷，我们通过从教师一致性模型中消除指数移动平均来解决这个缺陷。为了取代像LPIPS这样的学习指标，我们采用了来自稳健统计的伪Huber损失。此外，我们为一致性训练目标引入了一个对数正态噪声调度，并提出在每一组训练迭代次数下将总离散化步骤增加一倍。结合更好的超参数调整，这些修改使一致性模型能够在单个采样步骤中在CIFAR-10和ImageNet 64上分别获得2.5