#今日论文推荐#数学推导详解，什么是扩散模型？谷歌大脑Calvin Luo《扩散模型理解》，带你对基于评分与基于变分的扩散模型的统一视角数学理解

#今日论文推荐#数学推导详解，什么是扩散模型？谷歌大脑Calvin Luo《扩散模型理解》，带你对基于评分与基于变分的扩散模型的统一视角数学理解

关于扩散模型最详细数学推导，来自谷歌大脑Calvin Luo，非常值得关注！
扩散模型表现出了生成模型不可思议的能力; 事实上，它们为目前最先进的基于文本条件的图像生成模型(如Imagen和DALL-E 2)提供了动力。在本研究中，我们从变分和基于评分的角度对扩散模型进行综述、揭秘并统一理解。本文首先推导出变分扩散模型(VDM)作为马尔可夫分层变分自编码器的一个特例，其中三个关键假设使ELBO的可处理计算和可扩展优化成为可能。然后，我们证明优化VDM可以归结为学习一个神经网络来预测以下三个潜在目标之一:来自任意噪声的原始源输入，来自任意噪声输入的原始源噪声，或在任意噪声水平上的噪声输入的评分函数。然后，我们深入研究学习评分函数的意义，并通过Tweedie的公式明确地将扩散模型的变分视角与基于分数的生成模型视角联系起来。最后，我们将介绍如何通过引导使用扩散模型学习条件分布。

给定目标分布中的观察样本x，生成模型的目标是学习为其真实的数据分布p(x)建模。一旦学习，我们可以从我们的近似模型任意生成新的样本。此外，在一些公式下，我们能够使用学习的模型来评估观察或抽样数据的可能性。在目前的文献中有几个著名的方向，我们将只在较高的水平上简要介绍。生成对抗网络(GANs)模拟了一个复杂分布的抽样过程，它是通过对抗的方式学习的。另一类生成模型被称为“基于似然的”，它试图学习一个模型，该模型为观察到的数据样本分配高可能性。这包括自回归模型、标准化流和变分自动编码器(VAEs)。另一种类似的方法是基于能量的建模，在这种方法中，分布被学习为任意灵活的能量函数，然后被归一化。基于评分的生成模型是高度相关的; 他们不是学习建立能量函数本身的模型，而是将基于能量的模型的评分作为神经网络来学习。在这项工作中，我们探索和回顾了扩散模型，正如我们将展示的，有基于似然和基于评分的解释。我们以令人痛苦的细节展示了这些模型背后的数学，目的是让任何人都可以跟随并理解扩散模型是什么以及它们如何工作。

论文题目：Understanding Diffusion Models: A Unified Perspective
详细解读:https://www.aminer.cn/research_report/630cadfa7cb68b460f0ed6bfhttps://www.aminer.cn/research_report/630cadfa7cb68b460f0ed6bf
AMiner链接：https://www.aminer.cn/?f=cs