【Deep Unsupervised Learning using Nonequilibrium Thermodynamics】扩散模型开山之作

摘要

机器学习中的一个核心问题涉及使用高度灵活的概率分布家族来建模复杂的数据集，其中学习、采样、推理和评估仍然是解析或计算上可行的。在这里，我们开发了一种同时实现灵活性和可处理性的方法。这个基本的想法，受到非平衡统计物理的启发，是通过一个迭代的前向扩散过程系统地并缓慢地破坏数据分布中的结构。然后，我们学习一个反向扩散过程，恢复数据中的结构，从而产生一个高度灵活且可处理的数据的生成模型。这种方法使我们能够快速地学习、从深度生成模型中采样和评估概率，这些模型有数千层或时间步，以及在学习的模型下计算条件和后验概率。我们还发布了该算法的开源参考实现。

从历史上看，概率模型在两个相互冲突的目标之间存在权衡：可处理性和灵活性。可处理的模型可以进行分析评估，并且可以轻易地适应数据（例如，高斯或拉普拉斯）。然而，这些模型无法适当地描述丰富数据集中的结构。另一方面，灵活的模型可以被塑造以适应任意数据的结构。例如，我们可以根据任何（非负）函数φ(x)定义模型，产生灵活的分布p (x) = φ(x)/Z，其中Z是一个归一化常数。然而，计算这个归一化常数通常是不可处理的。评估、训练或从这样的灵活模型中抽取样本通常需要非常昂贵的蒙特卡洛过程。

存在各种分析近似方法可以缓解，但不能消除这种权衡——例如，平均场理论及其扩展（T, 1982; Tanaka, 1998）、变分贝叶斯（Jordan等人，1999）、对比散度（Welling & Hinton, 2002; Hinton, 2002）、最小概率流（Sohl-Dickstein等人，2011b;a）、最小KL收缩（Lyu, 2011）、适当的评分规则（Gneiting & Raftery, 2007; Parry等人，2012）、得分匹配（Hyv¨arinen, 2005）、伪似然（Besag, 1975）、循环信念传播（Murphy等人，1999），等等。非参数方法（Gershman & Blei, 2012）也可以非常有效。

1.1.扩散概率模型

我们提出了一种新的方法来定义概率模型，允许：
1.模型结构的高度灵活性，
2.精确采样，
3.容易与其他分布相乘，例如为了计算后验，以及
4.模型的对数似然性和各个状态的概率可以被廉价地评估。

我们的方法使用马尔可夫链逐渐将一个分布转化为另一个分布，这是一个在非平衡统计物理（Jarzynski, 1997）和顺序蒙特卡洛（Neal, 2001）中使用的想法。我们构建了一个生成马尔可夫链，它使用扩散过程将一个简单的已知分布（例如，高斯分布）转化为目标（数据）分布。我们并不是使用这个马尔可夫链来近似评估一个已经定义的模型，而是显式地将概率模型定义为马尔可夫链的终点。由于扩散链中的每一步都有一个可以解析评估的概率，所以整个链也可以被解析评估。

在这个框架中，学习涉及到估计扩散过程的小扰动。估计小扰动比用一个单一的、非解析可归一化的、潜在函数显式地描述完全分布更容易处理。此外，由于对于任何平滑的目标分布，都存在一个扩散过程，所以这种方法可以捕获任意形式的数据分布。

我们通过训练高对数似然模型来展示这些扩散概率模型的实用性，这些模型包括二维瑞士卷、二进制序列、手写数字（MNIST）以及几个自然图像（CIFAR-10，树皮和枯叶）数据集。

2 算法

我们的目标是定义一个前向（或推理）扩散过程，该过程将任何复杂的数据分布转化为简单、易处理的分布，然后学习这个扩散过程的有限时间逆过程，这个逆过程定义了我们的生成模型分布（参见图1）。我们首先描述前向，推理扩散过程。然后，我们展示如何训练和使用逆向，生成扩散过程来评估概率。我们还为逆过程推导出熵界限，并展示如何将学习到的分布与任何第二分布相乘（例如，在修复或去噪图像时计算后验概率）。

2.1. 前向轨迹
我们将数据分布标记为 $q(x(0))$。通过反复应用马尔可夫扩散核 T π ( y