条件DDPM：Diffusion model的第三个巅峰之作

已于 2022-04-11 16:51:26 修改
阅读量1.4w 收藏 23
点赞数 15
分类专栏： Diffusion Models与深度学习 文章标签： 深度学习 神经网络 人工智能
于 2021-12-23 21:08:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/122094843
版权
本文介绍了Diffusion Models的发展，从unconditional生成到condition的引入，探讨了分类器指导、参考图片结合及潜在变量约束的创新应用。通过条件控制，DDPM不仅能生成图像，还能实现图像修复、风格迁移等任务，进一步拓展了其在图像生成领域的潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 Diffusion Models专栏文章汇总：入门与实战

前言：DDPM2020年诞生，短短一年的时间，模型上有两个巨大的改进，其中一个就是condition的引入，最近大部分DDPM相关的论文都会讨论这一点，有些文章称之为latent variable。和当年GAN的发展类似，CGAN和DCGAN的出现极大程度上促进了GAN的发扬光大，意义重大。本文基于前面几篇文章继续聊一聊：

目录

诞生之初：unconditional无条件生成

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深入理解Conditional Diffusion Models：解读《On Conditioning the Input Noise for Controlled Image Generation》
沉迷单车的追风少年
05-22 7973
​ 我之前写了一篇博客《条件DDPM：Diffusion model的第三个巅峰之作》梳理了conditional diffusion models的发展脉络，总结了现在常用的条件使用方法。最近逛arxiv看到一篇最新的论文主打conditional diffusion models，和读者一起读一下这篇论文《On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models》...
DDPM的顶峰之作：条件扩散模型
VnReact的博客
09-19 4723
在这篇文章中，我们将介绍条件扩散模型（Conditional Diffusion Model），它是扩散模型的一个重要变体，能够根据给定的条件生成符合特定要求的样本。条件扩散模型引入了额外的条件输入，使得生成的样本能够满足特定的条件要求。通过将条件输入与扩散模型的输入进行联合，条件扩散模型能够在生成样本的同时控制生成过程。例如，在图像生成任务中，我们可以将条件信息设置为图像的标签，从而生成特定类别的图像。以上就是一个简化的条件扩散模型的示例代码，你可以根据具体的任务和数据进行相应的修改和扩展。
[论文解析]FreeDoM: Training-Free Energy-Guided Conditional Diffusion Model
Joselynzhao
04-03 1357
We propose a training-free energy-guided conditional diffusion model, FreeDoM, to address a wide range of conditional generation tasks without training. Our method uses off-the-shelf pre-trained time-independent networks to approximate the time-dependent e
深入解析 Latent Diffusion Model（潜在扩散模型，LDMs）（代码实现）
阿正的梦工坊
03-16 1668
传统扩散模型在像素空间直接操作的特性导致其训练和推理过程计算成本极高，限制了其在高分辨率图像生成中的广泛应用。为了解决这一问题，Latent Diffusion Model（潜在扩散模型，LDMs）应运而生，它通过在潜在空间中运行扩散过程，显著降低了计算复杂度，同时保留甚至提升了生成质量。
第 8 期：条件生成 DDPM：让模型“听话”地画图！
最新发布
m0_45101613的博客
04-18 389
在标准的 DDPM 中，我们只是“随机生成”图像。如果我想让模型生成「小狗」怎么办？这就要给模型添加“引导”——标签或文字，这种方式就叫条件生成（Conditional Generation）。在本期中，我们学习了如何：✅ 在 UNet 中添加类嵌入；✅ 修改损失函数以支持标签；✅ 实现条件采样生成指定类别图像；✅ 可视化生成效果。
条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models
Hekena的博客
02-23 5066
先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系，也是在模型中嫁梯子，达到最终的目标。架梯子好像有点意思啊，可以多想想。
【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception
weixin_45657478的博客
10-01 772
【论文笔记】DiffBEV: Conditional Diffusion Model for Bird’s Eye View Perception
深入探索条件扩散模型：一个详尽解读
loop_syntax648的博客
09-19 6321
条件扩散模型是一种生成模型，它通过学习数据的条件分布来生成新的样本。与传统的生成模型不同，条件扩散模型使用扩散过程（Diffusion Process）来建模数据的生成过程。在扩散过程中，模型通过逐步加入噪声来逼近目标分布，从而生成与目标分布相似的样本。条件扩散模型的主要思想是通过一系列的扩散步骤，将噪声逐渐转化为目标样本。每个扩散步骤可以看作是一个条件生成模型，它将当前样本和噪声作为输入，生成下一个样本。通过多次迭代这个过程，模型可以生成高质量的样本。
diffusion model加condition总结
weixin_47032489的博客
03-19 2496
想要实现图生图/文生图，DM具体怎么训练的呢？学习的目标都是：你要生成内容的加噪版本文生图，图加噪图1生图2，图2加噪。
生成模型：扩散模型（DDPM, DDIM, 条件生成）
disanda的专栏
01-30 2802
扩散模型的理论较为复杂，论文公式与开源代码都难以理解。现有的教程大多侧重推导公式。为此，本文通过精简代码（约300行），从代码运行角度讲解扩散模型。
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
最新Diffusion Models条件生成研究成果：梯度引导法
沉迷单车的追风少年
08-15 1987
去年我发布了一篇条件DDPM的博客《条件DDPM：Diffusion model的第三个巅峰之作》，梳理了“分类器引导”、“inference image”、“latent”三种常见的条件添加方式。今年最火的条件diffusion models当属梯度引导法，这篇博客梳理一下最新的条件扩散模型的研究成果。...
2023年Diffusion Models还有哪些方向值得研究(好发论文)？
沉迷单车的追风少年
05-07 5944
笔者follow扩散模型的科研进展已经将近2年了，见证了diffusion从无人问津到炙手可热的过程。当下扩散模型还有哪些缺点？还有哪些需要改进的方向？还有哪些方向值得研究？还有哪些方向好发论文？针对这些问题博主给出一些自己的见解，欢迎大家在评论区多多讨论！
【第5章：深度生成模型— 5.4 深度生成模型前沿全景：从Diffusion到多模态，揭秘AI生成技术的未来】
02-14 85
生成模型正在经历一场前所未有的革命！从震惊AI圈的DALL·E 2到刷屏朋友圈的Stable Diffusion，这些模型展现出的创造力已经突破了我们的想象边界。今天，我们就来一场深度探索之旅，揭开生成模型最前沿研究的神秘面纱，看看AI生成技术的未来会走向何方。（本文包含大量前沿技术解析和代码示例，建议在Colab中边看边实操）
Paper reading: Conditional Diffusion for Interactive Segmentation ICCV2021
家家的专栏
06-02 275
把原始图像、click的高斯maps，和预测的逻辑值，作为输入，进而促进信息从点位置到邻近像素的传播和预测。定义起始的click区域，和diffusion目标区域，作为约束信息，交互进行diffusion。
探索 Conditional Diffusion MNIST：深度学习的新视角
gitblog_00066的博客
04-26 745
探索 Conditional Diffusion MNIST：深度学习的新视角 项目地址:https://gitcode.com/gh_mirrors/co/Conditional_Diffusion_MNIST 在深入探讨 这个项目之前，我们先理解一下其背后的理论基础——扩散模型（Diffusion Models）。这是一种利用逆过程来生成高质图像的人工智能技术，近年来在生成式模型领域取得了显...
ddpm代码注释
论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》
03-28 532
predict_start_from_noise方法从噪声中预测原始图像，对应公式115。返回q_posterior ：q(x_t-1|xt, x0)的均值和方差，公式71。正向扩散链的过程，返回分布的均值与方差，见公式61。
深度学习（生成式模型）—— Controlnet：Adding Conditional Control to Text-to-Image Diffusion Models
菜到怀疑人生的博客
01-30 1790
之前的文章里，我们已经总结了AIGC几篇经典文章，这篇博文，我们将总结ICCV的best paper ControlNet，后续的文章将解析score base以及consistency model。以往的condition diffusion model多通过文字来控制生成的图像，但是控制粒度仍然不够细。试想一个场景，我们对于生成图像中人类的姿态有所要求，例如下图，我们很难用语言来描述符合要求的人类姿态，现有的文生图模型很难满足我们的需求。基于此背景，便有了ControlNet，其在文生图模型。
【论文精读】CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation
MaoZhihang的博客
07-02 3789
论文精读 扩散模型
diffusion DDPM
02-13
### 扩散模型（Diffusion Model）DDPM介绍 扩散模型是一种基于迭代噪声注入和去除过程的概率生成模型。这类模型通过逐步向数据添加高斯噪声来学习复杂的数据分布，再训练一个神经网络去逆向这个加噪过程从而实现样本生成[^1]。 #### Diffusion Probabilistic Models (DDPM) DDPM是一类特定类型的扩散模型，在该框架下，图像或其他形式的数据被逐渐破坏成随机噪音；接着，一个深度学习模型学会逆转这一损坏流程，即从纯噪声中重建原始输入模式。此方法利用变分推理技术并优化证据下界(ELBO)，使得最终能够高效采样新实例以及执行其他下游任务如分类或超分辨率增强等[^2]。 ```python import torch.nn as nn class UNet(nn.Module): def __init__(self, T=1000, ch=128, ch_mult=[1, 2, 2, 2], num_res_blocks=2, dropout=0.1): super().__init__() self.T = T # Define the architecture of U-net here... def forward(self, x, t): # Implement the forward pass with time embedding and noise prediction. ... ``` 上述代码片段展示了用于实现DDPM的一个简化版U-Net架构定义部分。实际应用时还需要完成整个前向传播逻辑的设计，包括时间步嵌入机制及时序条件下的扰动估计等功能模块构建[^3]。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值