（三）4. 深度生成模型-扩散模型(连续时间“扩散模型”与“分数匹配”的关系)

离散时间扩散的生成模型和离散时间分数匹配方法在已经被证明有相同的损失函数。前文推出了连续时间扩散的生成模型，其中，损失函数的设定和分数匹配模型的损失函数相同，这尽管在实证上取得了成功，但理论基础仍然缺乏。

这篇博文首先给出了反向时间随机微分方程表达式的理论证明，然后证明了最大化连续时间扩散的生成模型似然函数的下界等同于最小化分数匹配损失，弥合了连续时间情形下两个模型的理论差距。

1. 扩散模型和分数匹配模型（离散时间）

1.1. 扩散模型

生成式建模可以被认为是一个反转的推理过程。

• 如果推理过程是可逆的，那么可以重点将数据转换为可处理的分布（Dinh et al.，2016）。
• 如果推理过程是确定性的但不可逆的，人们可以学会随机反转它(Dinh et al., 2019; Nielsen et al., 2020)。

最近关于基于扩散的建模的工作（Sohl-Dickstein等人，2015；Ho等人，2020）可以被认为是通过冻结变分自动编码器的推理路径来消除一个自由度。