AE/VAE/DDPM对比分析

已于 2023-11-24 10:28:27 修改
阅读量776 收藏 1
点赞数
分类专栏： 图像视频生成大模型 文章标签： 人工智能 扩散模型
于 2023-03-13 20:38:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/129497373
版权
本文对比分析了扩散模型（如DDPM）、变分自编码器（VAE）和自编码器（AE）在图像生成领域的优缺点。扩散模型在建模数据分布和训练稳定性上表现出优势，而VAE在建模复杂分布时面临挑战，AE在生成新数据方面受限。文章还探讨了条件扩散模型的实现方式，如classifier-guidance和classifier-free，并列举了相关应用如DALLE-2和GLIDE。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
MATLAB算法实战应用案例精讲-【数模应用】去噪扩散概率模型（DDPM）（附python代码实现）
qq_36130719的博客
12-08 99
人工智能生成内容（AI Generated Content，AIGC）近年来成为了非常前沿的一个研究方向，生成模型目前有四个分支，分别是生成对抗网络（Generative Adversarial Models，GAN），变分自编码器（Variance Auto-Encoder，VAE），标准化流模型（Normalization Flow， NF）以及这里要介绍的扩散模型（Diffusion Models，DM）。
51-33 LDM 潜在扩散模型论文精读 + DDPM 扩散模型代码实现
AIgraphX
03-22 3119
传统扩散模型 DM 是作用在原始像素级上，Latent Diffusion Models 潜在扩散模型 LDM 则是先对图片进行压缩，将图片表示为潜在空间（Latent Space，而不是像素空间），然后输入扩散模型。LDM 模型在主干网络 UNet 中引入 Cross-Attention，可以输入多模态，实现灵活的图片生成控制。
​生成扩散模型漫谈：DDPM = 拆楼 + 建楼
Paper weekly
06-19 1228
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络说到生成模型，VAE、GAN 可谓是“如雷贯耳”，本站也有过多次分享。此外，还有一些比较小众的选择，如 flow 模型 [1]、VQ-VAE[2] 等，也颇有人气，尤其是 VQ-VAE 及其变体 VQ-GAN [3]，近期已经逐渐发展到“图像的Tokenizer”的地位，...
DDPM = 自回归式 VAE
连理o的博客
12-13 618
DDPM = 自回归式 VAE
一文详解扩散模型：DDPM
京东科技开发者
03-29 3446
人工智能生成内容（AI Generated Content，AIGC）近年来成为了非常前沿的一个研究方向，生成模型目前有四个流派，分别是生成对抗网络（Generative Adversarial Models，GAN），变分自编码器（Variance Auto-Encoder，VAE），标准化流模型（Normalization Flow， NF）以及这里要介绍的扩散模型（Diffusion Models，DM）
图像生成发展起源：从VAE、扩散模型DDPM、DDIM到DETR、ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 3万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
（pytorch进阶之路）DDPM回顾及Autoregressive diffuision model
qq_19841133的博客
09-20 1848
扩散模型和自回归模型结合做多变量的序列预测的任务，基于过去一段时间的数据去预测未来一段时间的数据，并且是由一种自回归的方式去预测通过DDPM的回顾，我们得到了目标函数将其运用到自回归模型，我们可以用RNN或者Transformer构建时间依赖性的网络xt-1和ct-1输入到RNN中，生成ht-1，使用条件的扩散模型得到xt，ht-1作为模型的条件，现在有一个条件概率模型能够基于ht-1预测当前时刻的所想要的xt，前向过程还是从x0到xN，只不过在逆扩散过程构建噪声网络的时候加入一个ht-1。
生成式多模态之AE DAE/MAE VAE VQ-VAE/VQ-VAE2
qq_35215756的博客
07-20 1097
在VAE中，编码器仍然将输入数据映射到一个低维潜在空间，但是与潜在空间中的单个点不同，编码器生成潜在空间上的概率分布。（Variational Auto-Encoder）就是借助了encoder-decoder的结构去做生成，和AE最主要的区别就是不再去学习中间的bottleneck特征了，而是引入概率框架来生成输入数据的压缩表示，去学习一种分布。是一种瓶颈架构（ bottleneck），它使用编码器将高维输入x 转换为潜在的低维Code h，然后使用解码器将潜在Code h进行重构，得到最终的输出x’。
4.扩散模型DDPM的发展脉络
wumg3000的博客
03-15 869
简要介绍扩散模型DDPM的继往与开来
Stable Diffusion 系列教程 - 2 WebUI 参数详解
认真努力，做一只会飞的毛毛虫。
12-06 1981
SwinIR 4x：使用SwinTransformer模型，拥有局部自适应的内容，更好的提取可特征，提高图像细节，保证放大图片真实感稳定训练，很全面却没有一方面超过别的算法。ESRGAN 4x：它是ESRGAN算法的一种改进版本，可以将低分辨率的图像通过神经网络模型增强到4倍的分辨率，在增强图像的细节信息和保留图像质量方面有了明显的提升。Nearest：非常传统的归类找近似值的方法，计算新的东西和旧的东西的相似度，以最相似的内容去出图，大数据时效果好，实际一般。目前最实用，最优的选择，更贴合真实效果。
FPN与Unet的异同
m0_61899108的博客
09-06 3159
fpn与unet异同有哪些？ 同：都使用了“由上至下”、“横向连接”及“由下至上”的结构，从而对多尺度特征图进行融合，即将高层的语义信息与低层的几何细节结合。另外，融合后都会再经过一层卷积。 异： FPN对多尺度特征图融合的方式是element-wise add，而UNet采用的是concate； FPN对多尺度特征图都进行了预测，而UNet仅在（由上至下）最后一层进行预测，而且这一层通常还需要进行一次resize才能恢复到原图尺寸；
UNet和传统CNN的区别
qq_42369500的博客
05-22 1万+
文章目录UNet和CNN的区别一、UNet网络模型1.Encoder2.Decoder二、UNet和CNN的区别1.CNN是对图像进行分类，输出的结果是整个图像的类标签；UNet是像素级分类，输出的结果是每个像素点的类被，且不同类别的像素会显示不同的颜色。2.CNN是通过卷积层和池化层提取图像特征，经反向传播确定最终参数，并得到最终的特征；而UNet的特征提取步骤较为复杂，分为Encoder和Decoder。3.输入输出大小：CNN以VGG为例，输入大小为3*224*224，输出大小为1*1*num_cla
AIGC系列之：DDPM原理解读（简单易懂版）
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
11-27 3435
在Encoder部分中，UNet模型会逐步压缩图片的大小；在Decoder部分中，则会逐步还原图片的大小。同时在Encoder和Deocder间，还会使用“残差连接”，确保Decoder部分在推理和还原图片信息时，不会丢失掉之前步骤的信息。Stable Diffusion主要包含三个模块：VAE模块：Variational Auto Encoder, ELBO loss, KL loss, GAN,
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）
最新发布
Python栈_基的博客
12-11 792
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
DDPM | 扩散模型代码详解【较为详细细致！！！】
qq_23022733的博客
08-19 4477
左图是Transformer的Positional Embedding，行索引代表第几个单词，列索引代表每个单词的特征向量，右图是DDPM的Positional Embedding，DDPM的Positional Embedding和Transformer的Positional Embedding的。另一个区别是DDPM的Positional Embedding并没有按照奇数位和偶数位进行拼接，而是按照前后的sin和cos进行拼接的，虽然拼接方式不同，但是最终的效果是一样的。这是下采样模块的解释，
IDDPM中的Unet网络（整体代码在文末）
m0_74982304的博客
06-17 3095
首先，我做的是超分辨率任务，所以不需要处理条件的代码。在我学习IDDPM和DDPM时，对Unet有两个疑惑：1：时间t怎么用于模型的预测？2：attention机制时怎么融入进去的？
【源码解读】扩散模型核心：DDPM专题-结合源码讲解
JackCrum的博客
06-28 1868
论文花极大篇幅讲数学推导，可是我看不懂。 论文没有给出模型架构图和详细的训练解说，而这是我最关心的部分。 本文直接从源码入手，深度剖析DDPM
AIGC专栏1——Pytorch搭建DDPM实现图片生成
Bubbliiiing的学习小课堂
02-05 3万+
我又死了我又死了我又死了！如上图所示。DDPM模型主要分为两个过程：1、Forward加噪过程（从右往左），数据集的真实图片中逐步加入高斯噪声，最终变成一个杂乱无章的高斯噪声，这个过程一般发生在训练的时候。加噪过程满足一定的数学规律。2、Reverse去噪过程（从左往右），指对加了噪声的图片逐步去噪，从而还原出真实图片，这个过程一般发生在预测生成的时候。尽管在这里说的是加了噪声的图片，但实际去预测生成的时候，是随机生成一个高斯噪声来去噪。去噪的时候不断根据XtX_tXt​的图片生成X。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值