扩散模型中的prediction_type详解

程序员非鱼

已于 2024-09-20 19:24:53 修改

阅读量843

点赞数 11

分类专栏： diffusion 文章标签：人工智能计算机视觉深度学习 stable diffusion stablediffusion

于 2024-09-20 19:24:37 首次发布

本文链接：https://blog.csdn.net/qq_44475666/article/details/142393183

版权

diffusion 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

最近在学习Diffusion，今天在coding的过程中，看到了一个参数prediction_type，目前代码里面是有三种类型，分别是sample、epsolon和v_prediction，在好奇心的驱使下，我想要对prediction_type一探究竟，在这里也顺便记录一下。

什么是`prediction_type`

prediction_type是扩散模型中调度器（scheduler）的一个重要参数。它决定了模型在训练和推理过程中如何预测噪声或潜在变量，不同的预测类型会影响模型的性能和生成效果。

`prediction_type`的类型以及作用

epsilon

作用：epsilon类型是直接预测添加到原始图像中的噪声。模型学习预测在扩散过程中每个时间步添加到图像中的噪声值。在去噪过程中，根据模型预测的噪声来逐步去除噪声，恢复原始图像。
通常应用于传统的扩散模型，如原始的DDPM（Denoising Diffusion Probabilistic Models）模型。它是一种较为直观的预测方式，通过预测噪声的方式来逼近真实的无噪声图像。

举例：在Stable Diffusion v1.x模型中，通常使用epsilon作为预测类型。例如，当使用预训练的Stable Diffusion v1.x模型进行图像生成时，模型的调度器会根据epsilon类型的预测来计算每个时间步的去噪步骤，逐步从噪声图像中恢复出清晰的图像。

v_prediction

作用：v_prediction类型预测的是当前时间步的变量v，v与噪声和原始图像之间存在特定的数学关系。这种预测方式在一定程度上可以提高模型的训练稳定性和生成质量。
相比于epsilon预测类型，v_prediction可以更好地处理高方差的噪声，减少训练过程中的不稳定性，使得模型能够更好地收敛到较好的结果。

举例：Stable Diffusion v2模型使用了v_prediction类型。在训练和推理过程中，模型通过预测v变量来更新图像的潜在表示，从而生成高质量的图像。这种预测类型的改变是的Stable Diffusion v2在图像生成的细节和质量上有了一定的提升。

sample

作用：sample类型直接预测采样的结果。在推理阶段，模型根据输入的条件（如文本描述）直接预测出最终的图像样本，而不是像epsilon和v_prediction那样逐步去噪的过程。
这种预测类型通常用于一些特殊的采样方法或模型变体中，可以加快推理速度，但可能需要更多的计算资源和模型训练技巧。

举例：在某些基于扩散的快速采样算法中，可能会使用sample预测类型。例如，在一些实时图像生成应用中，为了满足快速生成图像的需求，可以采用sample类型的预测来直接获取图像结果，但可能会在一定程度上牺牲图像的质量和细节。