生成扩散模型漫谈：从万有引力到扩散模型

©PaperWeekly 原创 · 作者 | 苏剑林

单位 | 追一科技

研究方向 | NLP、神经网络

对于很多读者来说，生成扩散模型可能是他们遇到的第一个能够将如此多的数学工具用到深度学习上的模型。在这个系列文章中，我们已经展示了扩散模型与数学分析、概率统计、常微分方程、随机微分方程乃至偏微分方程等内容的深刻联系，可以说，即便是做数学物理方程的纯理论研究的同学，大概率也可以在扩散模型中找到自己的用武之地。

在这篇文章中，我们再介绍一个同样与数学物理有深刻联系的扩散模型——由“万有引力定律”启发的 ODE 式扩散模型，出自论文《Poisson Flow Generative Models》[1]（简称 PFGM），它给出了一个构建 ODE 式扩散模型的全新视角。

万有引力

中学时期我们就学过万有引力定律，大概的描述方式是：

两个质点彼此之间相互吸引的作用力，是与它们的质量乘积成正比，并与它们之间的距离成平方反比。

这里我们忽略质量和常数，主要关心它的方向和与距离的关系，假设引力源位于 ，那么位于 的物体所受到的引力可以记为

这个因子我们可以先不管它，它不影响后面的分析。准确来说，上式描述的是三维空间的引力场，对于 维空间来说，其引力场的形式为

其中 是 维单位超球面的表面积。该式实际上就是 维 Poisson 方程的格林函数的梯度，这也就是论文标题中的 “Poisson” 一词的来源。

沿场线走

如果引力源有多个，那么直接将各个引力源的引力相加即可，这是引力场的线性可加性。下面我们画出了四个引力源的向量场，其中引力源用黑色点标记出，彩色线表示场线：

▲引力场示意图

从上述引力场图我们可以看出它的一个重要特点：

除了极少数外，大部分场线都是从远处出发，终止于某个引力源点。此时，一个直观而又“异想天开”的主意是：

如果每个引力源都代表着一个要生成的真实样本点，那么远处的任意点只要沿着场线运动，不就都可以演变成一个真实样本点了吗？

这就是《Poisson Flow Generative Models》[1] 一文最核心的天才想法！

等效质心

当然，天才归天才，要将它真正变成一个可用的模型，还有很多细节要补充。比如我们刚才说“远处的任意点”，这就是扩散模型的初始分布了，那么问题就来了：“远处”是多远？“任意点”该如何采样？如果采样方式过于复杂，那也没有价值了。

幸运的是，引力场有一个非常重要的等效性质：