Diffusion models 终极流程

这张图片展示了两个算法，分别是用于训练和采样的。以下是这两个算法的解释：

算法1：训练

这个算法描述了如何训练模型参数$\theta$。

1. repeat: 训练过程是一个迭代的过程，重复以下步骤直到收敛。
2. $x_0\sim q(x_0)$: 从数据分布$q(x_0)$中采样一个样本$x_0$。
3. t ∼ Uniform ( { 1 , … , T } ) t \sim \text{Uniform}(\{1, \ldots, T\}) t∼Uniform({1,…,T}): 从均匀分布 { 1 , … , T } \{1, \ldots, T\} {1,…,T}中随机选择一个时间步$t$。
4. $ϵ\sim \mathcal{N}(0,I)$: 从标准正态分布$\mathcal{N}(0,I)$中采样噪声$ϵ$。
5. 梯度下降: 执行一次梯度下降步骤，优化目标是$\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t){\Vert }^2$。
6. 直到收敛: 重复上述步骤直到模型收敛。

算法2：采样

这个算法描述了如何从训练好的模型中生成样本。

1. $x_T\sim \mathcal{N}(0,I)$: 从标准正态分布$\mathcal{N}(0,I)$中采样初始样本$x_T$。
2. for$t=T,\dots ,1$do: 从$T$到$1$依次执行以下步骤。
3. 采样$z$: 如果$t>1$，从标准正态分布$\mathcal{N}(0,I)$中采样噪声$z$；否则$z=0$。
4. 更新$x_{t-1}$: 使用公式$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{1-{\alpha }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right)+{\sigma }_{t}z$更新样本。
5. end for: 循环结束。
6. return$x_0$: 返回生成的样本$x_0$。

这两个算法分别用于训练模型和从模型中生成样本。训练过程通过最小化噪声预测误差来优化模型参数，而采样过程则使用优化后的模型逐步从噪声生成样本。