AE/VAE/DDPM对比分析

已于 2023-11-24 10:28:27 修改
阅读量790 收藏 1
点赞数
分类专栏： 图像视频生成大模型 文章标签： 人工智能 扩散模型
于 2023-03-13 20:38:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/129497373
版权
本文对比分析了扩散模型（如DDPM）、变分自编码器（VAE）和自编码器（AE）在图像生成领域的优缺点。扩散模型在建模数据分布和训练稳定性上表现出优势，而VAE在建模复杂分布时面临挑战，AE在生成新数据方面受限。文章还探讨了条件扩散模型的实现方式，如classifier-guidance和classifier-free，并列举了相关应用如DALLE-2和GLIDE。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MATLAB算法实战应用案例精讲-【数模应用】去噪扩散概率模型（DDPM）（附python代码实现）
qq_36130719的博客
12-08 120
人工智能生成内容（AI Generated Content，AIGC）近年来成为了非常前沿的一个研究方向，生成模型目前有四个分支，分别是生成对抗网络（Generative Adversarial Models，GAN），变分自编码器（Variance Auto-Encoder，VAE），标准化流模型（Normalization Flow， NF）以及这里要介绍的扩散模型（Diffusion Models，DM）。
51-33 LDM 潜在扩散模型论文精读 + DDPM 扩散模型代码实现
AIgraphX
03-22 3176
传统扩散模型 DM 是作用在原始像素级上，Latent Diffusion Models 潜在扩散模型 LDM 则是先对图片进行压缩，将图片表示为潜在空间（Latent Space，而不是像素空间），然后输入扩散模型。LDM 模型在主干网络 UNet 中引入 Cross-Attention，可以输入多模态，实现灵活的图片生成控制。
​生成扩散模型漫谈：DDPM = 拆楼 + 建楼
Paper weekly
06-19 1235
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络说到生成模型，VAE、GAN 可谓是“如雷贯耳”，本站也有过多次分享。此外，还有一些比较小众的选择，如 flow 模型 [1]、VQ-VAE[2] 等，也颇有人气，尤其是 VQ-VAE 及其变体 VQ-GAN [3]，近期已经逐渐发展到“图像的Tokenizer”的地位，...
DDPM = 自回归式 VAE
连理o的博客
12-13 626
DDPM = 自回归式 VAE
一文详解扩散模型：DDPM
京东科技开发者
03-29 3561
人工智能生成内容（AI Generated Content，AIGC）近年来成为了非常前沿的一个研究方向，生成模型目前有四个流派，分别是生成对抗网络（Generative Adversarial Models，GAN），变分自编码器（Variance Auto-Encoder，VAE），标准化流模型（Normalization Flow， NF）以及这里要介绍的扩散模型（Diffusion Models，DM）
图像生成发展起源：从VAE、扩散模型DDPM、DDIM到DETR、ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 3万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
（pytorch进阶之路）DDPM回顾及Autoregressive diffuision model
qq_19841133的博客
09-20 1863
扩散模型和自回归模型结合做多变量的序列预测的任务，基于过去一段时间的数据去预测未来一段时间的数据，并且是由一种自回归的方式去预测通过DDPM的回顾，我们得到了目标函数将其运用到自回归模型，我们可以用RNN或者Transformer构建时间依赖性的网络xt-1和ct-1输入到RNN中，生成ht-1，使用条件的扩散模型得到xt，ht-1作为模型的条件，现在有一个条件概率模型能够基于ht-1预测当前时刻的所想要的xt，前向过程还是从x0到xN，只不过在逆扩散过程构建噪声网络的时候加入一个ht-1。
生成式多模态之AE DAE/MAE VAE VQ-VAE/VQ-VAE2
qq_35215756的博客
07-20 1123
在VAE中，编码器仍然将输入数据映射到一个低维潜在空间，但是与潜在空间中的单个点不同，编码器生成潜在空间上的概率分布。（Variational Auto-Encoder）就是借助了encoder-decoder的结构去做生成，和AE最主要的区别就是不再去学习中间的bottleneck特征了，而是引入概率框架来生成输入数据的压缩表示，去学习一种分布。是一种瓶颈架构（ bottleneck），它使用编码器将高维输入x 转换为潜在的低维Code h，然后使用解码器将潜在Code h进行重构，得到最终的输出x’。
4.扩散模型DDPM的发展脉络
wumg3000的博客
03-15 892
简要介绍扩散模型DDPM的继往与开来
Stable Diffusion 系列教程 - 2 WebUI 参数详解
认真努力，做一只会飞的毛毛虫。
12-06 2003
SwinIR 4x：使用SwinTransformer模型，拥有局部自适应的内容，更好的提取可特征，提高图像细节，保证放大图片真实感稳定训练，很全面却没有一方面超过别的算法。ESRGAN 4x：它是ESRGAN算法的一种改进版本，可以将低分辨率的图像通过神经网络模型增强到4倍的分辨率，在增强图像的细节信息和保留图像质量方面有了明显的提升。Nearest：非常传统的归类找近似值的方法，计算新的东西和旧的东西的相似度，以最相似的内容去出图，大数据时效果好，实际一般。目前最实用，最优的选择，更贴合真实效果。
FPN与Unet的异同
m0_61899108的博客
09-06 3209
fpn与unet异同有哪些？ 同：都使用了“由上至下”、“横向连接”及“由下至上”的结构，从而对多尺度特征图进行融合，即将高层的语义信息与低层的几何细节结合。另外，融合后都会再经过一层卷积。 异： FPN对多尺度特征图融合的方式是element-wise add，而UNet采用的是concate； FPN对多尺度特征图都进行了预测，而UNet仅在（由上至下）最后一层进行预测，而且这一层通常还需要进行一次resize才能恢复到原图尺寸；
UNet和传统CNN的区别
qq_42369500的博客
05-22 1万+
文章目录UNet和CNN的区别一、UNet网络模型1.Encoder2.Decoder二、UNet和CNN的区别1.CNN是对图像进行分类，输出的结果是整个图像的类标签；UNet是像素级分类，输出的结果是每个像素点的类被，且不同类别的像素会显示不同的颜色。2.CNN是通过卷积层和池化层提取图像特征，经反向传播确定最终参数，并得到最终的特征；而UNet的特征提取步骤较为复杂，分为Encoder和Decoder。3.输入输出大小：CNN以VGG为例，输入大小为3*224*224，输出大小为1*1*num_cla
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）
2401_84760322的博客
11-14 3883
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
AIGC系列之：DDPM原理解读（简单易懂版）
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
11-27 3518
在Encoder部分中，UNet模型会逐步压缩图片的大小；在Decoder部分中，则会逐步还原图片的大小。同时在Encoder和Deocder间，还会使用“残差连接”，确保Decoder部分在推理和还原图片信息时，不会丢失掉之前步骤的信息。Stable Diffusion主要包含三个模块：VAE模块：Variational Auto Encoder, ELBO loss, KL loss, GAN,
IDDPM中的Unet网络（整体代码在文末）
m0_74982304的博客
06-17 3173
首先，我做的是超分辨率任务，所以不需要处理条件的代码。在我学习IDDPM和DDPM时，对Unet有两个疑惑：1：时间t怎么用于模型的预测？2：attention机制时怎么融入进去的？
【源码解读】扩散模型核心：DDPM专题-结合源码讲解
JackCrum的博客
06-28 1893
论文花极大篇幅讲数学推导，可是我看不懂。 论文没有给出模型架构图和详细的训练解说，而这是我最关心的部分。 本文直接从源码入手，深度剖析DDPM
AIGC专栏1——Pytorch搭建DDPM实现图片生成
Bubbliiiing的学习小课堂
02-05 3万+
我又死了我又死了我又死了！如上图所示。DDPM模型主要分为两个过程：1、Forward加噪过程（从右往左），数据集的真实图片中逐步加入高斯噪声，最终变成一个杂乱无章的高斯噪声，这个过程一般发生在训练的时候。加噪过程满足一定的数学规律。2、Reverse去噪过程（从左往右），指对加了噪声的图片逐步去噪，从而还原出真实图片，这个过程一般发生在预测生成的时候。尽管在这里说的是加了噪声的图片，但实际去预测生成的时候，是随机生成一个高斯噪声来去噪。去噪的时候不断根据XtX_tXt​的图片生成X。
【stablediffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）
阿道夫的博客
12-23 1422
*Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
怎么将AE编码器改为扩散模型
最新发布
12-31
### 将自动编码器(AE)转换为扩散模型 #### 自动编码器与变分自编码器的区别 传统自动编码器（AE）通过将输入数据映射到低维隐空间中的单个点来表示数据，而变分自编码器(VAE)[^1]则更进一步，在编码阶段输出的是一个概率分布而非具体的数值。具体来说，对于给定的输入样本\(x\)，VAE会计算其对应的潜在变量\(z\)的概率密度函数参数——即均值\(\mu(x)\)和方差\(\sigma^{2}(x)\)，并从中随机抽取样本作为解码过程的起点。 #### 扩散模型概述 扩散模型是一种基于马尔可夫链原理构建起来的强大生成对抗网络替代方案之一[^2]。这类方法通过对噪声逐步去噪的过程模拟真实世界的数据分布特性，从而达到合成新实例的目的。最初由Jonathan Sohl-Dickstein等人于2015年引入，并经历了多个版本迭代优化，如DDPM(Denoising Diffusion Probabilistic Models), DDIM(Diffusion Denoising Implicit Models)等改进型结构的发展完善。 #### 实现从AE到扩散模型转变的关键要素 要使传统的自动编码架构适应扩散建模的要求，主要涉及以下几个方面的调整： - **多步渐进式降噪机制**：不同于一次性重建目标的传统做法，新的体系需设计一个多时间尺度上的反向传播路径，使得每一步都能够有效地去除部分加性高斯白噪音成分。 - **条件依赖关系建立**：为了更好地控制生成质量以及多样性表现，可以在原有基础上增加额外的信息源指导整个演化流程；比如利用类别标签、文本描述或者其他形式的相关提示信息辅助特征提取层的学习过程。 - **损失函数重构**：考虑到最终目的是最小化预测结果同原始信号间的差异度量，因此有必要重新定义适合当前场景下的代价评估准则。通常情况下采用KL散度衡量两个连续型随机变量间相似性的程度加上L2范数约束项共同作用形成综合评价指标。 ```python import torch.nn as nn from torchvision import datasets, transforms class SimpleDiffusionModel(nn.Module): def __init__(self, base_ae_model): super(SimpleDiffusionModel, self).__init__() # 假设base_ae_model是一个预训练好的基础AE模型 self.encoder = base_ae_model.encoder self.decoder = base_ae_model.decoder # 添加用于处理不同timestep状态转移操作的新组件... pass def forward(self, x, t=None): # 这里的't'代表当前所处的时间戳位置 if t is None: raise ValueError("Time step 't' must be specified.") z_mean, z_log_var = self.encoder(x) epsilon = torch.randn_like(z_mean) # 计算带有时序特性的隐含表征 z_tilde = z_mean + torch.exp(0.5 * z_log_var) * epsilon # 应用特定时刻下的逆变换逻辑恢复原貌 reconstructed_x = self.decoder(z_tilde) return { "reconstruction": reconstructed_x, "latent_dist_params": (z_mean, z_log_var), "noise_level": t } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值