已经提出了几种基于扩散的生成模型,这些模型具有相似的思想,包括扩散概率模型(Sohl-Dickstein 等人,2015 年)、噪声条件评分网络(NCSN;Yang & Ermon,2019 年)和去噪扩散概率模型( DDPM;Ho 等人,2020 年)。
前向扩散过程给定一个从真实数据分布中采样的数据点,让我们定义一个前向扩散过程,在该过程中,我们逐T步向样本中添加少量高斯噪声,从而产生一系列噪声样本
。 步长由方差表
控制。
图2. 缓慢加入(去除)噪声生成样本的正向(反向)扩散过程的马尔可夫链。(图片来源:Ho et al. 2020,带有一些附加注释)
上述过程的一个很好的特性是我们可以使用重新参数化技巧在任意时间步 $t$ 以封闭形式对 $\mathbf{x}_t$ 进行采样。设 $\alpha_t = 1 - \beta_t$ 和 $\bar{\alpha}_t = \prod_{i=1}^t \alpha_i$:�吨在任意时间步长吨以封闭形式使用和