深入了解diffusion model

已于 2024-05-31 20:30:47 修改
阅读量484 收藏 4
点赞数 6
文章标签： 人工智能
于 2024-05-31 20:28:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/El_ia_uk/article/details/139357526
版权

diffusion model是如何运作的

会输入当时noise的严重程度，根据我们的输入来确定在第几个step，并做出不同的回应。

Denoise模组内部实际做的事情

产生一张图片和产生noise难度是不一样的，若denoise 模块产生一只带噪声的猫说明这个模块已经会画一只猫，所以产生一只带噪声的猫和产生图片中死亡噪声难度是不一样的

如何训练noise predictor

输入这张图片和step id  然后产生出一个预测中的噪声，但为了产生预测中的噪声，则需要输入这张图片的噪声是什么样子，才会学习如何把噪声输出。

noise predictor 的训练资料是人们创造出来的

Text-to-Image

 

Stable Diffusion

内部有三个元件

1、Text Encoder:好的文字的encoder,会把一段文字变成向量

2、Generation Model:可以用其他model(如diffusion Model)，用一个粉红色的矩阵表示以恶搞噪声，将噪声与文字的encode产生一个中间产物（为一张图片被压缩后的结果）

3、Decoder:把图片压缩后的版本还原成原图

第一元件：如何评估影像生成的模型好坏（常用FID Frechet Inception Distance）

若这两组越接近，则表示生成的影像与原图更接近。

FID需要许多的图片

第三元件：它训练不需要文字的输入，可任意单凭影像的输入自动训练decoder

中间产物为：压缩后的图片

中间产物为：Latent Representation ,则应该如何训练decoder，把其还原成图片

需要训练一个Auto-encoder ,过程如下图所示：

输入和输出的结果越接近越好。把训练好的decoder直接拿出来将Latent Representation还原成图片即可。

第二元件：generation model

 diffusion model的数学原理

Training

第三行表示从1-T sample一个数出来， 第四行表示从normal distribution sample一个\varepsilon

第五行红色方框表示T越大表示所加的噪声越多

想象中噪声是一点一点加进去的， 去噪声也是把噪声一点一点的抹去，实际上真正做的事情并没有把噪声一点一点的加进去，噪声一次加入，去噪声也是一次便去除

sampling

El_ia_uk
关注
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
DiffKG: Knowledge Graph Diffusion Model for Recommendation
步子哥的博客
12-30 1564
总的来说，DiffKG通过结合生成式扩散模型和知识图谱学习框架，有效地从噪声和稀疏的知识图谱中提取出对推荐有用的信息，并通过实验验证了其在提升推荐系统性能方面的有效性。总的来说，DiffKG 通过结合扩散模型、数据增强技术和协作知识图谱卷积，提出了一种新颖的方法来从噪声和稀疏的知识图谱中提取有用的信息，并利用这些信息来提升推荐系统的性能。：将DiffKG与多种最先进的推荐系统进行比较，包括传统的协同过滤方法、基于嵌入的知识图谱推荐方法、基于图神经网络的推荐方法，以及一些自监督的推荐方法。
扩散模型： Diffusion Model概念讲解
u013308709的博客
01-06 1044
Diffusion Model 课件 视频 前向扩散过程 在原始图像中逐步添加高斯分布随机噪声，直到最后得到完全噪声的图像。 反向降噪过程 逐步去除噪声图中的噪声，得到最后原图。 根据噪声图和时间步得到预测的噪声，然后噪声图减去噪声得到原始图 噪声预测的标签来自于前向扩散过程中添加的噪声 DDPM算法流程 Stable Diffusion Model 与扩散模型对比，可以理解成stable diffusion model就是在latent space上的diffusion model
Diffusion Model
ronwu的博客
10-19 548
diffusion
一文弄懂 Diffusion Model
阿木寺的博客
11-26 1368
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—> 【扩散模型】微信技术交流群转载自：GiantPandaCV前言最近 AI 绘图非常的火，其背后用到的核心技术之一就是 Diffusion Model（扩散模型），虽然想要完全弄懂 Diffusion Model 和其中复杂的公式推导需要掌握比较多的前置数学知识，但这并不妨碍我们去理解其原理。接下来会以笔者所理解...
扩散模型（Diffusion Model）——生成模型
最新发布
m0_75253143的博客
08-09 3022
扩散模型（Diffusion Model）是一种生成模型，最近在图像生成、视频生成、语音合成等领域取得了显著的进展。与传统的生成对抗网络（GAN）和变分自编码器（VAE）不同，扩散模型通过逐步将噪声添加到数据并反转这一过程来生成新样本。
​扩散模型(Diffusion Model)详解：直观理解、数学原理、PyTorch 实现​
周红伟讲AI
03-12 7116
图像生成任务就是把随机生成的向量（噪声）映射成和训练图像类似的图像。为此，扩散模型把这个过程看成是对纯噪声图像的去噪过程。通过学习把图像逐步变成纯噪声的逆操作，扩散模型可以把任何一个纯噪声图像变成有意义的图像，也就是完成图像生成。对于不同程度的读者，应该对本文有不同的认识。图像生成任务的通常做法图像生成任务需要监督VAE通过把图像编码再解码来训练一个解码器扩散模型是一类特殊的VAE，它的编码固定为加噪声，解码固定为去噪声扩散模型的优化目标：让反向过程尽可能成为正向过程的逆操作。
扩散模型(diffusion model) （DDPM）处理表格数据的项目案例
05-22
扩散模型（Diffusion Model，简称DDPM）是一种新兴的生成模型，主要在图像生成领域取得了显著成果。然而，它的应用并不仅限于此，处理表格数据也是其潜在的应用方向。本项目案例将展示如何利用扩散模型对表格数据...
潜在扩散模型Latent Diffusion Model原理与代码实例讲解
AGI通用人工智能之禅
07-13 257
在深度学习领域，特别是图像生成和处理任务中，潜在扩散模型（Latent Diffusion Models，LDMs）作为一种新型生成模型，受到了广泛关注。随着大规模预训练模型的涌现，比如DALL-E、Stable Diffusion和LyCORIS，人们对于能够生成高质量、多样化的图像以及文本的能力有了更高的期待。潜在扩散模型正是为了满足这一需求而提出的，它通过在潜在空间中模拟扩散过程，从而生成具有丰富细节和多样性的样本。初始化：从潜在空间中随机选取初始状态或噪声状态作为起点。扩散过程。
Diffusion Model原理详解及源码解析_diffusion model用于超分的能力边界(1)
2401_85012262的博客
05-17 441
2Z3​Z3​     ——公式5同理，我们将公式5代入到公式4中，得到xtx_txt​时刻图像和xt−3x_{t-3}xt−3​时刻图像的关系，公式如下：​Xtatat−1at−2Xt−31−atat−1at−2Z3​Z^3​      ——公式6公式5我没有带大家一步步的计算了，只写出了最终结果，大家可以自己算一算，非常简单，也只用到了高斯分布的相关性质。注意上述的Z3\hat {Z_3}
从0开始搞懂Diffusion扩散模型
fisherisfish的博客
08-14 6367
简单来说就是套贝叶斯公式，B是X(t-1)，P(B)就是q(X(t-1)|X0)，A是Xt，P(A|B)就是q(Xt|X(t-1)，X0)，下面其实就是P(A)，那就说q(Xt|X0)，鄙人是这么理解的，但是鄙人概率论实在学得不好，这里很难理解，如果有错误欢迎指出，后续也会抓紧学习得。首先是为什么q(X(t-1)|Xt)变成了q(X(t-1)|Xt，X0)，这是因为光靠Xt是反推不了这个公式的，所以得把知道X0也当作条件，引入这个公式，来和Xt一起反推X(t-1)。这里参考大佬的计算过程。
Diffusion Model原理详解
weixin_42620109的博客
03-18 4282
Diffusion Model（扩散模型 ）对标的是生成对抗网络（GAN），本文将用通俗的语言和公式为大家介绍Diffusion Model，并且结合公式为大家梳理Diffusion Model的代码。
学习笔记（二）----diffusion model
weixin_52121118的博客
04-01 1040
（本文介绍的diffusion Model 是论文：Denoising Diffusion Probabilistic Models(DDPM)去噪扩散概率模型，DDPM是2020年提出，是AIGC主流生成模型）我们可以看到最近很火的text-to-image，通过给定文本描述生成图片，当前最先进的两个text-to-image是OpenAI的DALL E2和Google的Imagen，他们都是基于扩散模型来完成的。什么是扩散模型？|Lil'Log的 (lilianweng.github.io)
Diffusion Model（扩散模型）
weixin_47772355的博客
12-29 7863
Diffusion
扩散模型（Diffusion Model）——由浅入深的理解
热门推荐
WSLGN的博客
04-27 8万+
对扩散模型（diffusion model）进行由浅入深的理解
扩散模型（Diffusion Model）最新综述！
zandaoguang的博客
09-15 1万+
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达本综述来自西湖大学李子青实验室、香港中文大学Pheng-Ann Heng和浙江大学陈广勇团队，对现有的扩散生成模型进行了全面的回顾。本文首先提出了diffusion model改进算法的细化分类与深度解析，同时对diffusion model的应用进行了系统的回顾，最后率先汇总领域内benchmarks。这也促进了后续工作《Dif...
扩散模型 (Diffusion Model) 简要介绍与源码分析
珍妮的选择的博客
10-23 2万+
Diffusion Model (扩散模型) 是一类生成模型, 和 VAE (Variational Autoencoder, 变分自动编码器), GAN (Generative Adversarial Network, 生成对抗网络) 等生成网络不同的是, 扩散模型在前向阶段对图像逐步施加噪声, 直至图像被破坏变成完全的高斯噪声, 然后在逆向阶段学习从高斯噪声还原为原始图像的过程.
巴斯扩散模型-Bass Diffusion Model
qq_41103204的博客
04-12 2万+
目录1 巴斯模型概念2 创新扩散理论-Diffusion of Innovations Theory3 巴斯模型的假设4 代码 1 巴斯模型概念 巴斯扩散模型针对创新产品、技术的采用和扩散，常被用作市场分析工具，对新产品、新技术需求进行预测。而新产品创新扩散是指新产品从创造研制到进入市场推广、最终使用的过程，表现为广大消费者从知晓、兴趣、评估、试用到最终采用新产品的行为。 巴斯扩散模型的许多变形也...
diffusion model 专栏
07-27
综上所述，关于diffusion model的专栏文章已经有很多，读者可以通过阅读这些文章来深入了解和学习相关内容。 #### 引用[.reference_title] - *1* *2* *3* [Diffusion Models专栏文章汇总：入门与实战]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值