最新Diffusion Models条件生成研究成果：梯度引导法

最新推荐文章于 2024-05-07 20:50:15 发布
最新推荐文章于 2024-05-07 20:50:15 发布
阅读量1.6k 收藏 8
点赞数 3
分类专栏： Diffusion Models与深度学习 文章标签： 深度学习 人工智能 扩散模型 diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/125941330
版权

Diffusion Models专栏文章汇总：入门与实战 

前言：去年我发布了一篇条件DDPM的博客《条件DDPM：Diffusion model的第三个巅峰之作》，梳理了“分类器引导”、“inference image”、“latent”三种常见的条件添加方式。今年最火的条件diffusion models当属梯度引导法，这篇博客梳理一下最新的条件扩散模型的研究成果。

目录

首次提出：Video Diffusion Models

图像生成中的条件梯度约束法：On Conditioning the Input Noise for Controlled Image Generation

最新ECCV 2022研究成果：首次证明并探索了梯度约束的作用

展望未来

首次提出：Video Diffusion Models

详细的讲解可以看一下我之前发布的博客：

Video Diffusion Models：基于扩散模型的视频生成_沉迷

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
订阅专栏
梯度域引导图滤波Gradient Domain Guided Image Filtering
05-27
可以直接运行的梯度域引导图滤波Gradient Domain Guided Image Filtering MATLAB源码
条件控制生成——diffusion模型——Adding Conditional Control to Text-to-Image Diffusion Models
Hekena的博客
02-23 3712
先猜一下，为神魔会有这种方案出来？我想是因为end-2-end的调优是比较简单快速，而且效果相较而言还能够接受的一种，但是，在LLM上的微调，参数规模太大了，很难有效的调整，又能够适应小游玩家，又能提高效率，在LLM中加入条件控制语句就成了一种方案。文中还解释了一种场景，是在比较细节的调整中，比如人的姿势，如果使用prompt的方式的话，很难调整效果达到一个可接受的情况。controlnet的参数控制和另一种模型蒸馏好像有点关系，也是在模型中嫁梯子，达到最终的目标。架梯子好像有点意思啊，可以多想想。
【Diffusion实战】训练一个类别引导diffusion模型（Pytorch代码详解）
最新发布
qq_43426908的博客
05-07 965
又学习了一种方法，类别引导diffusion模型，使用mnist数据集，记录一下它的用法吧。
diffusion model加condition总结
weixin_47032489的博客
03-19 734
想要实现图生图/文生图，DM具体怎么训练的呢？学习的目标都是：你要生成内容的加噪版本文生图，图加噪图1生图2，图2加噪。
一文速览扩散模型优化过程：从DDPM到条件生成模型Stable Diffusion
要相信光
05-30 9713
本文会从最简单的扩散模型开始讲起，然后根据原始模型存在的缺点介绍当前的一些改进方法，最后介绍一个经典的可用于条件生成的扩散模型Stable Diffusion.
Latent Diffusion Models（LDM） / Stable Diffusion，Diffusion如何根据条件生成图像（文生图）？
简单记录生活、学习
02-19 2187
这样一来，我们就可以利用编码器对图片进行压缩，然后在潜在表示空间上做diffusion操作，最后我们再用解码器恢复到原始像素空间即可，论文将这个方法称之为感知压缩（Perceptual Compression）。个人认为这种将高维特征压缩到低维，然后在低维空间上进行操作的方法具有普适性，可以很容易推广到文本、音频、视频等领域。在潜在表示空间上做diffusion操作其主要过程和标准的扩散模型没有太大的区别，所用到的扩散模型的具体实现为 time-conditional UNet。
Diffusion打卡笔记2-微调和引导
spf991022的博客
10-24 553
完成了扩散模型打卡活动第二章的学习，简单记录下学习所得。
IJCAI 2022 | 腾讯AI Lab Oral论文：条件扩散模型FastDiff
腾讯AI实验室
04-28 2982
感谢阅读腾讯AI Lab 微信号第145篇文章。本文介绍腾讯 AI Lab 近日公开的 IJCAI 2022 Oral 论文，提出了一种新的条件扩散模型 FastDiff 作为声码器，及基于此设计了全新的端到端语音合成模型。声码器（Vocoder）是一项把低维度声学特征转成波形的生成任务，该技术广泛应用于语音合成和语音信号编解码领域。伴随着近几年深度学习的飞速发展，声码...
条件DDPM：Diffusion model的第三个巅峰之作
沉迷单车的追风少年
12-23 1万+
前言：DDPM从2020年诞生，短短一年的时间，模型上有两个巨大的改进，其中一个就是condition的引入，最近大部分DDPM相关的论文都会讨论这一点，有些文章称之为latent variable。和当年GAN的发展类似，CGAN和DCGAN的出现极大程度上促进了GAN的发扬光大，意义重大。本文基于前面几篇文章继续聊一聊： 从VAE到Diffusion Model_沉迷单车的追风少年-CSDN博客 为什么diffusion model扩散模型可以称为score-based models？_沉迷单车的.
深度学习（生成式模型）——Classifier Guidance Diffusion
菜到怀疑人生的博客
11-09 1639
文章目录前言问题建模条件扩散模型的前向过程条件扩散模型的反向过程条件扩散模型的训练目标 前言 几乎所有的生成式模型，发展到后期都需要引入"控制"的概念，可控制的生成式模型才能更好应用于实际场景。本文将总结《Diffusion Models Beat GANs on Image Synthesis》中提出的Classifier Guidance Diffusion（即条件扩散模型），其往Diffusion Model中引入了控制的概念，可以控制DDPM、DDIM生成指定类别（条件）的图片。 问题建模 本章节所
Diffusion模型详解
欢迎来到道的世界
07-04 6658
 在上一篇《基于流的深度生成模型》中详解介绍了有关流的生成模型理论和方法。目前为止，基于GAN生成模型，基于VAE的生成模型，以及基于flow的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。GAN在对抗训练过程中会出现模式崩塌和训练不稳定的问题；VAE则严重依赖于目标损失函数；流模型则必须使用专门的框架来构建可逆变换。本文主要介绍关于扩散模型，其灵感来自于非平衡热力学。它们定义了扩散步骤的马尔可夫链，将随机噪声缓慢地添加到数据中，然后学习逆向扩散过程以从噪声中构造所需的数据样本。 与VAE或
【深度学习模型】扩散模型(Diffusion Model)基本原理及代码讲解
热门推荐
tobefans的博客
03-23 5万+
生成式建模的扩散思想实际上已经在2015年（Sohl-Dickstein等人）提出，然而，直到2019年斯坦福大学（Song等人）、2020年Google Brain（Ho等人）才改进了这个方法，从此引发了生成式模型的新潮流。目前，包括OpenAI的GLIDE和DALL-E 2，海德堡大学的Latent Diffusion和Google Brain的ImageGen，都基于diffusion模型，并可以得到高质量的生成效果。本文以下讲解主要基于DDPM，并适当地增加一些目前有效的改进内容。
Diffusion学习(1)-预备知识
qzq2514的博客
12-20 972
Diffison公式推理的前提知识储备
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
m0_51976564的博客
11-29 3797
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
CVPR2020（SPSR梯度引导的SR）Structure-Preserving Super Resolution with Gradient Guidance
qq_20777119的博客
06-05 970
Structure-Preserving Super Resolution with Gradient Guidance 文章链接：https://arxiv.org/pdf/2003.13081.pdf 项目地址：https://arxiv.org/pdf/2003.13081.pdf 利用图像的梯度图来引导SR.并且设计了梯度图的损失函数和计算方法 abstract 1、简介 2、相关工作： In this paper, we propose a structure-preserv...
深入理解Conditional Diffusion Models：解读《On Conditioning the Input Noise for Controlled Image Generation》
沉迷单车的追风少年
05-22 6769
​ 我之前写了一篇博客《条件DDPM：Diffusion model的第三个巅峰之作》梳理了conditional diffusion models的发展脉络，总结了现在常用的条件使用方法。最近逛arxiv看到一篇最新的论文主打conditional diffusion models，和读者一起读一下这篇论文《On Conditioning the Input Noise for Controlled Image Generation with Diffusion Models》...
基于扩散模型的文本引导图像生成算法
Paper weekly
05-07 9293
©作者 | 微风单位 | 中山大学+IDEA研究院研究方向 | 多模态表征学习、多模态生成DALL·E 2 之所以能够生成十分惊艳的图像，扩散模型功不可没，相比 GAN，该模型可以生成更多样，更高质量的图像（缺点在于计算量很大，需要反复迭代）。扩散模型的思想很简单，inference 的时候给定一个噪声信号作为输入，训练一个模型估计高斯噪声，用噪声减去这个预测的噪声，然后...
深度解析：什么是Diffusion Model？
Paper weekly
07-26 1万+
©PaperWeekly 原创 ·作者 |鬼谷子引言在上一篇基于流的深度生成模型中详解介绍了有关流的生成模型理论和方法。目前为止，基于 GAN 生成模型，基于 VAE 的生成模型，以及基于 flow 的生成模型它们都可以生成较高质量的样本，但每种方法都有其局限性。GAN 在对抗训练过程中会出现模式崩塌和训练不稳定的问题；VAE 则严重依赖于目标损失函数；流模型则必须使...
AI艺术的背后：详解文本生成图像模型【基于 Diffusion Model】
Pain is inevitable but suffering is optional.
09-20 6742
GLIDE 使用了文本作为条件，来实现文本引导的扩散模型，在文本引导上面，文中主要使用了两种策略，Classifier-Free Diffusion Guidence 以及 CLIP 来作为条件监督，同时使用了更大的模型，在数据量上，和DALL-E 相似。实际上，扩散模型做的事情本质上是一样的，不同的是，扩散模型完全使用了全新的思路来实现这个目标。（实际上等价于学习了一个隐含的分类器），缺点是，成本比较高，相当于每次要生成两个输出，尽管如此，后面的大部份知名文本生成图像模型，都是基于这个方法进行的。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值