扩散模型中的prediction_type详解

已于 2024-09-20 19:24:53 修改
阅读量1.8k 收藏 22
点赞数 12
分类专栏： diffusion 文章标签： 人工智能 计算机视觉 深度学习 stable diffusion stablediffusion
于 2024-09-20 19:24:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44475666/article/details/142393183
版权

最近在学习Diffusion，今天在coding的过程中，看到了一个参数prediction_type，目前代码里面是有三种类型，分别是sample、epsolon和v_prediction，在好奇心的驱使下，我想要对prediction_type一探究竟，在这里也顺便记录一下。

什么是prediction_type

prediction_type是扩散模型中调度器（scheduler）的一个重要参数。它决定了模型在训练和推理过程中如何预测噪声或潜在变量，不同的预测类型会影响模型的性能和生成效果。

prediction_type的类型以及作用

epsilon

作用：epsilon类型是直接预测添加到原始图像中的噪声。模型学习预测在扩散过程中每个时间步添加到图像中的噪声值。在去噪过程中，根据模型预测的噪声来逐步去除噪声，恢复原始图像。
通常应用于传统的扩散模型，如原始的DDPM（Denoising Diffusion Probabilistic Models）模型。它是一种较为直观的预测方式，通过预测噪声的方式来逼近真实的无噪声图像。

举例：在Stable Diffusion v1.x模型中，通常使用epsilon作为预测类型。例如，当使用预训练的Stable Diffusion v1.x模型进行图像生成时，模型的调度器会根据epsilon

最低0.47元/天 解锁文章
AI：269-无条件扩散模型详解-原理、实现与应用
一键难忘的博客
09-07 3395
无条件扩散模型是生成模型领域中的一种有趣方法。与有条件扩散模型根据特定输入生成数据不同，无条件模型的目标是在没有明确条件的情况下从分布中生成样本。本文将探讨无条件扩散模型的工作原理，通过示例代码展示其实现，并讨论结果。扩散模型是一类生成模型，其工作原理是模拟逐渐向数据中添加噪声的过程，然后学习如何逆转这个噪声过程。目标是学习一个可以从纯噪声中逐渐去噪以生成真实数据的模型。在无条件设置下，模型的训练不依赖于任何外部条件或标签。这对于我们希望从学习到的分布中生成多样化样本而不依赖于特定条件的任务特别有用。
【ChatGPT模型精调训练】AI 大模型精调 Fine-Tuning （微调）训练图文代码实战详解
AI天才研究院
03-09 1944
选择预训练模型：选择一个在类似任务上已经训练好的模型作为起点。数据准备：准备并预处理你的数据集，使其适合模型的输入格式。微调：在你的特定数据集上继续训练模型，调整模型的权重。评估：评估微调后模型的性能。应用：将微调后的模型部署到实际应用中。Fine-Tuning（精调）是指在预训练模型的基础上，对模型进行微调，使其适应特定任务。预训练模型通常在大量无标签数据上进行训练，以学习通用的语言表示。通过 Fine-Tuning，我们可以在较小的标签数据集上训练模型，以便模型能够更好地解决特定任务。
『扩散模型』参数化之v-prediction
julac的博客
10-24 2170
提供了一个更平滑和稳定的优化目标（即提供了更稳定的梯度信号），因为它反映的是数据和噪声之间的动态关系，变化率信息本身可以捕捉到系统的局部信息。-prediction，即通过预测噪声计算损失并更新扩散模型的参数。自从 DDPM 以来，扩散模型的参数化形式一般都是。本身是随机的，直接优化可能会导致大的不确定性。（噪声强度随时间的变化过程）的情况下，噪声点。往往会遇到不稳定或不易学习的问题：噪声。v-prediction：在给定数据。表示数据样本被噪声污染的速度），定义。
文生图中从扩散模型到流匹配的演变：从SDXL到Stable Diffusion3(含Flow Matching和Rectified Flow的详解)
结构之法 算法之道
02-27 1万+
关于我为何关注到这个一致性模型，说来话长啊，历程如下AI绘画原理解析：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion在精读DALLE 3的论文时，发现其解码器用到了Consistency Models当然，后来OpenAI首届开发者大会还正式发布了这个模型，让我对它越发好奇Consistency Models的第一作者宋飏也证实了该模型是DALLE 3的解码器。
一文详解扩散模型
2401_84033492的博客
06-19 2529
2.1、统计学简介在统计学中，一切都是分布（Distribution），到处都是分布。统计学的根本目的就是获得数据分布。只要得到了数据的分布，那一切问题都迎刃而解。但现实数据的分布往往是不可得的，是极其复杂的，所以统计学在应用中到处充满假设：假设样本服从独立同分布原理；假设噪声服从高斯分布；假设特征之间相互独立等。翻开机器学习或者数理统计的书籍，到处充满着假设。没办法，现实问题太复杂！如何获得复杂的未知分布呢？最常用的方法就贝叶斯推断。2.2、贝叶斯推断贝叶斯推断的目的就是：找出复杂的未知分布。
【论文笔记】AffinityNet Semi-supervised few-shot learning for disease type prediction
苣篛
02-20 1216
AffinityNet: Semi-Supervised Few-Shot Learning for Disease Type PredictionPublication:Code:Dataset:IntroductionRelated WorkAffinity Network Model (AffinityNet)kNN attention pooling layerAttention kernelsLayer-specific dynamic affinity graphSemi-supervised
渐进蒸馏和v-prediction
weixin_44966641的博客
10-10 1747
早期提出的渐进蒸馏是一种比较直觉的扩散模型步数蒸馏方法，其提出的 v-prediction 在后来也有广泛的应用。
StableDiffusion模型发展历史
思念殇千寻的博客
05-18 2679
　　参考资料： 　　相应的github和huggingface 　　LDM[github] 　　StableDiffusion v1.1 ~ v1.4 [github] [huggingface] 　　StableDiffusion v1.5 [huggingface] [github] 　　StableDiffusion v2 v2.1 [github] [huggingface]　　 　　...
Diffusers 0.9.0 正式发布，支持 Stable Diffusion 2!
Hugging Face
11-28 1336
扩散模型 (Diffusion models) 是「生成模型」算法领域中的一个相对较新的算法。生成模型通过学习大量训练样本（例如图像或者音频），创建一些与训练数据神似，但又不是完全相同的多样化输出。Diffusers 库是一个操作扩散模型的工具箱，由 Hugging Face 团队发布，它可以非常方便的使用各种扩散模型生成图像、音频，也可以非常方便的使用各种噪声调度器，用于调节在模型推理中的速度和...
由浅入深理解Latent Diffusion/Stable Diffusion(5)：利用预训练模型快速开始自己的科研任务
沉迷单车的追风少年
06-20 2842
从零开始训练一个stable diffusion大概需要16万美元和1个月的时间，这对于一般的科研工作者来说难以承受，所以如何利用预训练模型快速开始自己的科研训练是一个非常有价值的问题。这篇博客将演示如何利用预训练模型快速开始自己的科研任务，希望对大家有所帮助！
【Block总结】EfficientViT中的多尺度线性注意力模块即插即用
AI浩
03-02 1096
LiteMLA类继承自nn.Module，是一个自定义的神经网络层。在初始化方法__init__中，定义了多个参数来控制模块的行为：和分别表示输入和输出通道数。heads和用于控制注意力头的数量和比例。dim是每个注意力头的维度。use_bias指定是否在卷积层中使用偏置项。norm指定归一化层的类型，可以是None或"bn2d"（二维批量归一化）。act_func指定激活函数的类型。是用于 q 和 k 的激活函数，默认为"relu"。scales。
Common Diffusion Noise Schedules and Sample Steps are Flawed
weixin_44966641的博客
05-31 2005
现在有很多新的采样器，在推理生图时只使用很少的步数，就能达到不错的生图结果。现在一般是在训练时对全部TTT（如T1000T=1000T1000）步训练，在推理时只需要采样SSS（如S25S=25S25​） 步来生图。调整采样步数可以在推理生图时实现效率和质量的权衡。然而，现在很多少步数的采样器在时间步的选择上，并没有从最后一步开始（如下表所示）。
【diffusers】(二) scheduler介绍 & 代码解析
Lizhi_Tech的博客
10-19 1万+
距离上一次更新已经很久了hhh，刚换了工作，最近才有时间更新博客。ok接下来我们继续介绍diffusers中的模块，最重要的我觉得一定是，因为它这里面包含了扩散模型的基本原理，通过对代码的分析我们可以对论文中的公式有着更好的理解，同时scheduler也在DDPM的基础上优化了许多不同的版本，加深对这些scheduler的理解也可以帮助我们在实际选择scheduler时有更好的理论支持。
【diffusers极速入门（五）】扩散模型中的 Scheduler（noise_scheduler）的作用是什么？
weixin_44212848的博客
07-29 3399
Scheduler 在扩散模型中扮演着重要的角色，它通过控制噪声的添加和去除，影响着模型的训练和生成效果。不同的 Scheduler 有不同的特点和适用场景，研究者可以根据具体任务选择合适的 Scheduler。
图像生成发展起源：从VAE、扩散模型DDPM、DDIM到DETR、ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 3万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
重磅！微软在 GitHub 又一开源力作面世，代号「女娲」！
emprere的博客
12-04 960
上一篇：K8s 超详细总结！来自新智元在几年前，要说 AI 能直接用一段文字描述生成清晰的图像，那可真是天方夜谭。结果现在，Transformer 的出现彻底带火了「多模态」这一领域。照着...
Stable Diffusion之Scheduler模块比对生成结果
wangyunpeng33的博客
04-08 1万+
diffusers包含多个用于扩散过程的预置scheduler function，用于接收经过训练的模型的输出，扩散过程正在迭代的样本，以及返回去噪样本的时间步长。在其他扩散模型又被称为采样器。
ML之catboost：catboost的CatBoostRegressor函数源代码简介、解读之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-13 4687
ML之catboost：catboost的CatBoostRegressor函数源代码简介、解读之详细攻略 目录 catboost的CatBoostRegressor函数源代码简介、解读 catboost的CatBoostRegressor函数源代码简介、解读 class CatBoostRegressorFound at: catboost.core class CatBoostRegressor(CatBoost): _...
使用CatBoost进行不确定度估算：模型为何不确定以及如何估计不确定性水平
deephub
10-10 8864
本教程涵盖以下主题： 什么是预测不确定性，为什么您要关心它？ 不确定性的两个来源是什么？ 如何使用CatBoost梯度提升库估算回归问题的不确定性 什么是不确定性？ 机器学习已广泛应用于一系列任务。但是，在某些高风险应用中，例如自动驾驶，医疗诊断和财务预测，错误可能导致致命的后果或重大的财务损失。在这些应用中，重要的是要检测系统何时犯错并采取更安全的措施。此外，还希望收集这些“故障场景”，对其进行标记，并教系统通过主动学习做出正确的预测。 预测不确定性估计可用于检测错误。理想情况下，该模型在可能会出错.
prediction_char = char(prediction_name); % Convert from cell to char if necessary
最新发布
04-01
这句话的作用是将一个单元数组（cell array）转换成普通的字符数组（char array），以便在后续操作中能够更好地与其他函数兼容。 ### **详细解释** 1. **变量类型背景** 在 MATLAB 中，`prediction_name` 很可能是这样一个单元数组： ```matlab prediction_name = {'setosa'}; ``` 这里的 `{'setosa'}` 是一个包含单个字符串元素的单元数组。虽然看起来像是字符串，但它实际上是 `cell` 类型而不是直接可用的字符数组 (`char`)。 2. **为什么要转换？** 如果我们需要将这个单元数组的内容传递给某些只接受字符数组作为输入的函数（比如 `fprintf`、`strcat` 等），就需要将其显式地转换为字符数组。 3. **如何实现转换？** 使用 `char()` 函数可以直接把单元数组中的所有字符串提取出来，并组合成一个新的字符数组。例如： ```matlab prediction_char = char(prediction_name); disp(class(prediction_char)); % 输出 "char" ``` 转换完成后，`prediction_char` 就变成了一个普通的字符数组： ```matlab prediction_char = setosa ``` 4. **为什么必要？** 当前许多 MATLAB 内置功能都假定传入的数据已经是标准的形式（如双精度数或字符数组等）。如果传入了不匹配的类型（例如这里的单元数组），就可能会引发错误。因此，提前做好类型转换是非常重要的一步。 --- ### 示例代码演示 假设我们有如下数据： ```matlab % 定义了一个包含单一字符串元素的单元数组 prediction_name = {'setosa'}; % 直接使用 fprintf 报错示例 try fprintf('预测的目标类别花名是：%s\n', prediction_name); catch ME disp('发生错误：'); disp(ME.message); % 显示错误消息 end % 正确方法 - 先转为字符数组后再输出 prediction_char = char(prediction_name); % 执行类型转换 fprintf('预测的目标类别花名是：%s\n', prediction_char); ``` 运行结果会依次显示出发生了什么样的异常提示以及最后成功的打印效果对比两者差异之处非常清楚明白易懂哈！ --- ### 总结 通过以上介绍可以看到，在处理来自不同来源或者经过特殊封装后的数据时总是需要格外留意它们的具体格式是什么样的形态然后采取相应的手段进行适配才能够保证整个流程顺畅无阻哦～
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员非鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值