模型(model)和扩散模型(diffusion)

标题模型(model)和扩散模型(diffusion)

模型(model)

模型通常指的是被训练的神经网络模型,如U-Net、Transformer等。
它的作用是学习从噪声数据到干净数据的映射关系。
在训练过程中,模型的参数会不断更新以最小化损失函数。
在采样(sampling)过程中,模型根据给定的噪声条件预测出对应的干净数据。
扩散模型(diffusion)

扩散模型定义了将数据逐步加入噪声的过程,以及从噪声数据中恢复干净数据的逆过程。
它描述了噪声如何被添加,以及在每个时间步长下噪声的分布情况。
扩散模型还定义了训练目标(如最小化损失函数)和采样策略。
常见的扩散模型包括DDPM、DDIM、Sde等。
因此,模型和扩散模型是相辅相成的:

扩散模型规定了扩散和反扩散的过程;
而神经网络模型则被训练用于从噪声中预测干净数据。
在推理(inference)阶段,扩散模型根据设定的策略进行采样,而模型则为每个时间步长提供所需的预测值。通过多次迭代,最终可以从纯噪声中生成所需的数据,如图像、音频等。

所以虽然它们有不同的概念和职责,但二者在生成性模型的训练和采样过程中通常会被结合使用,共同完成最终的生成任务。