最新Diffusion Models条件生成研究成果：梯度引导法

最新推荐文章于 2025-04-19 17:45:49 发布
最新推荐文章于 2025-04-19 17:45:49 发布
阅读量2k 收藏 9
点赞数 3
分类专栏： Diffusion Models与深度学习 文章标签： 深度学习 人工智能 扩散模型 diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/125941330
版权

Diffusion Models专栏文章汇总：入门与实战 

前言：去年我发布了一篇条件DDPM的博客《条件DDPM：Diffusion model的第三个巅峰之作》，梳理了“分类器引导”、“inference image”、“latent”三种常见的条件添加方式。今年最火的条件diffusion models当属梯度引导法，这篇博客梳理一下最新的条件扩散模型的研究成果。

目录

首次提出：Video Diffusion Models

图像生成中的条件梯度约束法：On Conditioning the Input Noise for Controlled Image Generation

最新ECCV 2022研究成果：首次证明并探索了梯度约束的作用

展望未来

首次提出：Video Diffusion Models

详细的讲解可以看一下我之前发布的博客：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
DDPM的顶峰之作：条件扩散模型
VnReact的博客
09-19 4905
在这篇文章中，我们将介绍条件扩散模型（Conditional Diffusion Model），它是扩散模型的一个重要变体，能够根据给定的条件生成符合特定要求的样本。条件扩散模型引入了额外的条件输入，使得生成的样本能够满足特定的条件要求。通过将条件输入与扩散模型的输入进行联合，条件扩散模型能够在生成样本的同时控制生成过程。例如，在图像生成任务中，我们可以将条件信息设置为图像的标签，从而生成特定类别的图像。以上就是一个简化的条件扩散模型的示例代码，你可以根据具体的任务和数据进行相应的修改和扩展。
ECCV 2022 Diffusion models最新研究成果：熵约束算法解决梯度消失问题
沉迷单车的追风少年
08-03 1123
最新的ECCV 2022有很多关于扩散模型精彩的工作，今天和大家一起学习一下浙大最新的工作：用熵驱动引导扩散模型。这篇论文重点针对分类器引导扩散模型时梯度过早消失的问题，在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。...
条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models
Hekena的博客
02-23 5167
先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系，也是在模型中嫁梯子，达到最终的目标。架梯子好像有点意思啊，可以多想想。
DDPM（diffusion）原理
最新发布
weixin_44986037的博客
04-19 940
DDPM（diffusion）原理
Latent Diffusion Models（LDM） / Stable Diffusion，Diffusion如何根据条件生成图像（文生图）？
Drug discovery
02-19 4130
这样一来，我们就可以利用编码器对图片进行压缩，然后在潜在表示空间上做diffusion操作，最后我们再用解码器恢复到原始像素空间即可，论文将这个方法称之为感知压缩（Perceptual Compression）。个人认为这种将高维特征压缩到低维，然后在低维空间上进行操作的方法具有普适性，可以很容易推广到文本、音频、视频等领域。在潜在表示空间上做diffusion操作其主要过程和标准的扩散模型没有太大的区别，所用到的扩散模型的具体实现为 time-conditional UNet。
Stable Diffusion条件控制生成---相关论文集合
Kuekua的专栏
01-15 1474
新增一个cross-attention layers，结果与text prompt的cross-attention layers结果相加后输入网络，只需要训练Wk, Wv两个参数。如何将图片作为prompt输入网络，并无需更改开源模型参数。
一文速览扩散模型优化过程：从DDPM到条件生成模型Stable Diffusion
要相信光
05-30 1万+
本文会从最简单的扩散模型开始讲起，然后根据原始模型存在的缺点介绍当前的一些改进方法，最后介绍一个经典的可用于条件生成的扩散模型Stable Diffusion.
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
Diffusion Models从入门到放弃：必读的10篇经典论文
沉迷单车的追风少年
01-08 5995
diffusion models是现在人工智能领域最火的方向之一，并引爆了AIGC方向，一大批创业公司随之诞生。笔者2021年6月开始研究diffusion，见证了扩散模型从无人问津到炙手可热的过程，这些篇经典论文我的专栏里都详细介绍过原理、复现过代码。这篇博客以时间发展顺序，串讲一下从入门到精(放)通(弃)的10篇必读的经典论文。
Diffusion Models: 生成扩散模型数学推导
07-24
扩散模型是一种基于概率的生成模型，它源于2020年提出的Denoising Diffusion Probabilistic Models (DDPM)框架。这种模型通过一系列逐步的噪声添加过程，即“扩散过程”，来模拟数据的生成，然后通过反向的噪声去除...
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
m0_51976564的博客
11-29 9236
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
梯度域引导图滤波Gradient Domain Guided Image Filtering
05-27
可以直接运行的梯度域引导图滤波Gradient Domain Guided Image Filtering MATLAB源码
扩散模型条件生成——Classifier Guidance和Classifier-free Guidance原理解析
sdksdf的博客
06-08 9825
从讲扩散模型到现在。我们很少讲过条件生成（Stable DIffusion曾提到过一点），所以本篇内容。我们就来具体讲一下条件生成。这一部分的内容我就不给原论文了，因为那些论文并不只讲了条件生成，还有一些调参什么的。并且推导过程也相对复杂。我们从一个比较简单的角度出发。参考代码：[扩散模型条件生成——Classifier Guidance和Classifier-free Guidance原理解析-哔哩哔哩]
diffusion model中条件生成、无条件生成中label y怎么设置？
Drug discovery
07-04 656
所以你在无条件生成中，将y设置为一个任意一样的值（例如3），它只有3的嵌入向量会更新，其他标签（0、1、2、4到999）的嵌入向量不会被更新，所以虽然在训练过程中使用了某个标签，但是它是固定的，所以。标签y的本质来源于nn.Embedding()，y维护了嵌入表。
Diffusion Model（1）：预备知识
weixin_42363544的博客
10-24 674
以上是在Diffusion Model（DDPM）推到过程中会用到的公式。这样做的好处是将随机性转移到了。中采样，可以先从标准正态分布。​ 如果满足马尔科夫链关系。则是仿射变换网络的一部分。​ 若希望从高斯分布。
条件DDPM：Diffusion model的第三个巅峰之作
沉迷单车的追风少年
12-23 1万+
前言：DDPM从2020年诞生，短短一年的时间，模型上有两个巨大的改进，其中一个就是condition的引入，最近大部分DDPM相关的论文都会讨论这一点，有些文章称之为latent variable。和当年GAN的发展类似，CGAN和DCGAN的出现极大程度上促进了GAN的发扬光大，意义重大。本文基于前面几篇文章继续聊一聊： 从VAE到Diffusion Model_沉迷单车的追风少年-CSDN博客 为什么diffusion model扩散模型可以称为score-based models？_沉迷单车的.
diffusion model 学习笔记
wubing's 博客
11-01 1110
郎之万公式: 描述了粒子做随机布朗运动 (粒子位置随时间变化的关系), 是一种 SDE, 描述了 由梯度力(即.即我们在无条件模型 DDPM 估计的噪声中添加一个微小的扰动(. 基本上,在采样一半时,基本上预测的。输出的是噪声的估计, 这个估计的噪声。通过上面的公式，我们可以知道，当知道。),就可以作为条件模型的噪声估计.首先,假设我们已经有了一个训练好的。: 每一步中保留的原始信号的比例。的计算有各种不同的方法，). 已经接近于真实的。)影响的系统的时间演化.也就是,我们训练的网络。
IJCAI 2022 | 腾讯AI Lab Oral论文：条件扩散模型FastDiff
腾讯AI实验室
04-28 3421
感谢阅读腾讯AI Lab 微信号第145篇文章。本文介绍腾讯 AI Lab 近日公开的 IJCAI 2022 Oral 论文，提出了一种新的条件扩散模型 FastDiff 作为声码器，及基于此设计了全新的端到端语音合成模型。声码器（Vocoder）是一项把低维度声学特征转成波形的生成任务，该技术广泛应用于语音合成和语音信号编解码领域。伴随着近几年深度学习的飞速发展，声码...
【深度学习模型】扩散模型(Diffusion Model)基本原理及代码讲解
热门推荐
tobefans的博客
03-23 8万+
生成式建模的扩散思想实际上已经在2015年（Sohl-Dickstein等人）提出，然而，直到2019年斯坦福大学（Song等人）、2020年Google Brain（Ho等人）才改进了这个方法，从此引发了生成式模型的新潮流。目前，包括OpenAI的GLIDE和DALL-E 2，海德堡大学的Latent Diffusion和Google Brain的ImageGen，都基于diffusion模型，并可以得到高质量的生成效果。本文以下讲解主要基于DDPM，并适当地增加一些目前有效的改进内容。
Latent Diffusion Models
07-27
引用\[1\]: Stable Diffusion是一个基于Latent Diffusion Models（潜在扩散模型，LDMs）的文图生成（text-to-image）模型。Stable Diffusion在LAION-5B的一个子集上训练了一个Latent Diffusion Models，该模型专门用于文图生成。\[1\]引用\[2\]: 在潜在表示空间上做diffusion操作其主要过程和标准的扩散模型没有太大的区别，所用到的扩散模型的具体实现为time-conditional UNet。\[2\]引用\[3\]: 高分辨率图像合成的普及diffusion models属于基于似然的模型类，其模式覆盖行为使它们容易花费过多的容量(从而计算资源)来建模数据的难以察觉的细节。尽管重加权变分目标旨在通过对初始去噪步骤进行欠采样来解决这一问题，但diffusion models仍然需要计算量，因为训练和评估这样的模型需要在RGB图像的高维空间中反复进行函数评估(和梯度计算)。\[3\] 问题: Latent Diffusion Models是什么？ 回答: Latent Diffusion Models（潜在扩散模型，LDMs）是一种用于文图生成的模型。在潜在表示空间上进行diffusion操作，其过程与标准的扩散模型类似。具体实现中使用了time-conditional UNet。这种模型的训练和评估需要在RGB图像的高维空间中进行函数评估和梯度计算，因此需要大量的计算资源。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [Latent Diffusion Models](https://blog.csdn.net/weixin_43135178/article/details/127972532)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值