diffusion model加condition总结

最新推荐文章于 2024-07-12 11:00:36 发布
最新推荐文章于 2024-07-12 11:00:36 发布
阅读量609 收藏 4
点赞数 8
文章标签： 人工智能 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47032489/article/details/136854720
版权
本文探讨了如何使用LatentDiffusionModel进行图生成和图像去噪，通过condition编码器和UNet结构，结合concat操作，以及训练时对加噪图y_t和x_t的交替学习方法，实现在高噪声水平下图1生成图2的过程。
摘要由CSDN通过智能技术生成

想要实现图生图/文生图，DM具体怎么训练的呢？

学习的目标都是：你要生成内容的加噪版本
文生图，图加噪
图1生图2，图2加噪

latent diffusion model

‘生’字前面的就是condition了，通过condition的encoder给到UNet

在这里插入图片描述

concat

把图1concat在噪声图中，从而实现图1生图2
典型就是SR3
在这里插入图片描述

从加噪的图1开始去噪

记图1为y，图2为x，加噪图分别为y_t和x_t
训练的时候UNet学x_t的噪声，inference的时候不是从纯噪声而是从y_t开始进行去噪。
（认为在噪声水平够高的时候y_t和x_t都到了一个空间）
但是，训练的时候根本没见过y_t，所以训练的时候，可以交替/随机选学y_t还是x_t（得设置一个t的阈值，因为只有在t大的时候才能认为y_t和x_t在一个空间可以互相转换）

小葵花闪闪发光
关注
  • 8
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深入理解Conditional Diffusion Models：解读《On Conditioning the Input Noise for Controlled Image Generation》
沉迷单车的追风少年
05-22 6585
​ 我之前写了一篇博客《条件DDPM：Diffusion model的第三个巅峰之作》梳理了conditional diffusion models的发展脉络，总结了现在常用的条件使用方法。最近逛arxiv看到一篇最新的论文主打conditional diffusion models，和读者一起读一下这篇论文《On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models》...
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models
Hekena的博客
02-23 3460
先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系，也是在模型中嫁梯子，达到最终的目标。架梯子好像有点意思啊，可以多想想。
实战：条件变分自编码器
qq_40652148的博客
05-27 4043
10.10 条件变分自编码器前面的变分自解码器是为了本节条件变分自解码器做铺垫的，在实际应用中条件变分自解码器会更为广泛一些，具体的内容如下。10.10.1 什么是条件变分自编码器变分自编码器存在一个问题，虽然可以生成一个样本，但是只能输出与输入图片相同类别的样本。虽然我们也可以在随机从符合模型生成的高斯分布中取数据来还原成样本，但是这样我们并不知道生成的样本属于哪个类别。条件变分解码器可以解决这...
Conditional Variational Autoencoders——条件式变换自编码机
cxy666
06-11 1762
找到了一篇将CVAE讲的很明白的文章，mark一下~ 转载自：[原文连接] 英文原文：[原文连接] Goal of a Variational Autoencoder： \qquad一个 VAE（variational autoencoder）是一个产生式模型，意味着我们可以产生看起来像我们的训练数据的 samples。以 mnist 数据集为例，这些伪造的样本可以看做是手写字体的合成图像。我们的 VAE 将会提供我们一个空间，我们称之为 latent space （潜在空间），我们可以从这里采样出 p.
【开集识别论文解读】C2AE: Class Conditioned Auto-Encoder for Open-set Recognition——CVPR2019
cute_cxy的博客
06-08 1436
开集识别的一般场景设定如图1所示， 我们已知四类图片，但是在测试过程中，可能会出现不属于任何一类的样本，而开集识别的目标就是识别出未知类，并且对已知类正确分类。本文将开集识别任务分成了两个子任务：闭集分类和开集识别。......
diffusion model
duoyasong5907的博客
10-30 383
diffusion
扩散模型diffusion model用于图像恢复完整可运行代码，附详细实验操作流程
02-10
1. 基于扩散模型实现的图像恢复代码，只需要修改数据集路径就可以在去雨、去雾、去雪等多个图像恢复任务上直接使用； 2. 附有详细的实验操作流程，以及参数路径等修改方法； 3. 代码训练和测试完整可运行；...
扩散模型-Diffusion Model 代码
02-29
扩散模型-Diffusion Model 代码
一文弄懂 Diffusion Model（DDPM）+ 代码实现
03-02
一文弄懂 Diffusion Model（DDPM）+ 代码实现
The brief introduction of diffusion model and stable diffusion
04-14
稳定扩散模型（Stable Diffusion Model）是由CompVis、Stability AI和LAION的研究团队开发的一种文本到图像的潜在扩散模型。它利用LAION-5B数据库的512x512图像子集进行训练，能够生成各种图像，包括人脸。稳定扩散...
深度学习（生成式模型）—— Controlnet：Adding Conditional Control to Text-to-Image Diffusion Models
菜到怀疑人生的博客
01-30 1257
之前的文章里，我们已经总结了AIGC几篇经典文章，这篇博文，我们将总结ICCV的best paper ControlNet，后续的文章将解析score base以及consistency model。以往的condition diffusion model多通过文字来控制生成的图像，但是控制粒度仍然不够细。试想一个场景，我们对于生成图像中人类的姿态有所要求，例如下图，我们很难用语言来描述符合要求的人类姿态，现有的文生图模型很难满足我们的需求。基于此背景，便有了ControlNet，其在文生图模型。
CVAE(条件自编码) Condition GAN (条件GAN) 和 VAE-GAN模型之间的区别
YYLin
03-20 9970
前言： CVAE(条件自编码) 主要有两个部分组成 编码器 (Encoder)和解码器(Decoder) 首先编码器中输入的是真实图像，经过一系类卷积操作提取真实图像特征的均值和方差，并将其转化成一个特定得高斯分布，编码器是选择一个服从该高斯分布的一个随机向量。 然后解码器输入的是编码器中输出的随机向量：经过一系列的反置卷积操作重构真实图像 优点是：生成图像稳定，不易出现模式坍塌的...
论文阅读DIFFUSION POLICIES AS AN EXPRESSIVE POLICY CLASS FOR OFFLINE REINFORCEMENT LEARNING
hzlalb的博客
11-29 1417
Diffusion-QL有两个主要组成部分: 使用扩散模型作为策略：通过将策略建立在条件扩散模型的逆向链上，扩散模型允许构建高度表达的策略类，同时其学习本身作为一种强大的策略正则化方法。 Q-学习引导：通过联合学习的Q值函数，将Q-学习引导注入扩散策略的学习中。这使得在探索区域内的去噪采样向最优区域进行导向。
扩散模型的源码学习diffusion_model
weixin_45193103的博客
12-12 1710
他这个normalize_neg_one_to_one,只有一行，就返回了img，我们接下来试一下，这个操作会产生什么样的变化，因为他变化一下就输入到了p_losses里面，可以看到在p_losses之前的操作都是特别简单的，这说明整个需要操作的大部分应该都在p_losses里面。12.看一下这个extract 是干什么的，他需要传入三个值，这些都是一些基本的属性，并没有传入x_start本身，所以，他们是和x本身的值无关的，而是一个随着时间变化的东西。然后t是一个8的tensor，有8个随机的0，1数。
AE(Auto Encoder)、VAE(Variational AutoEncoder)、CVAE(Conditional AutoEncoder)解读
qq_33948796的博客
04-11 6603
最近在研究编码器，阅读大量论文，历程艰辛，特此记录。如果博文有不妥之处，请告知，我一定及时修正！AE(Auto Encoder)、VAE(Variational AutoEncoder)、CVAE(Conditional AutoEncoder)解读 文章目录1、AE(Auto Encoder) 自动编码器2、VAE(Variational AutoEncoder)3、CVAE(Condition...
【代码精读】Diffusion Model 扩散模型
聆雨。
12-03 9431
本篇博客不会很详细介绍diffusion model的原理，而是用“知其然”的方式直接上代码。DenoisingDiffusionProbabilityModel-ddpm-主要代码库为以及。前者为最基础的Diffusion Model实现，后者则加上了最常用也最有效的技巧“Free Guidence” 3. Package 3.1. Diffusion.py 首先导入需要的包，并定义一个“提取“函数。 3.1.1. 正向扩散过程 必要公式及简单推导如下：q(xt∣xt−1)∼N(1−βtxt−1,βt)
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
最新发布
仙魁XAN
07-12 826
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
condition diffusion model
04-28
条件扩散模型是一种经济学模型，用于描述信息在市场中的传递和影响。该模型基于投资者搜寻信息和进行决策的过程，并认为市场中的信息是逐步传递的。这种模型通常基于两个假设：一是所有投资者都有完全相同的信息，即信息对称；二是投资者的决策是基于局部的信息而非完整的市场信息。 条件扩散模型最早由Allen和Gale在1991年提出。该模型将市场中的投资者分为两类：有信息者和无信息者。有信息者知道市场中隐含的信息，而无信息者则仅仅知道观察到的市场价格和数量。有信息者在进行交易时，他们的决策并不仅仅基于已知的市场信息，而是基于他们所拥有的额外信息。研究表明，这种额外信息传递是在一定的条件下发生的，这些条件包括不同投资者之间的互动、信息共享和市场深度等。 在条件扩散模型中，信息传递的速度取决于市场中有信息者的数量、他们所持有信息的重要性以及市场的流动性等因素。模型认为，在流动性较高的市场中，信息传递的速度更快，而在流动性较低的市场中，则更缓慢。因此，该模型可用于解释市场中价格波动的原因和趋势。 总的来说，条件扩散模型充分考虑了信息传递和市场流动性之间的关系，是解释市场价格波动的有效经济学模型之一。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值