Why Latent Space better?——CVPR 2022 : High-Resolution Image Synthesis with Latent Diffusion Models

已于 2022-12-10 13:43:22 修改
阅读量2.4k 收藏 16
点赞数 1
CC 4.0 BY-SA版权
文章标签： 深度学习 人工智能 计算机视觉
于 2022-10-13 11:27:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nappingman/article/details/127298028
本文介绍了一种利用潜变量扩散模型(LDM)进行高效高分辨率图像合成的方法。该方法通过自编码器预先压缩图像，减少计算成本的同时保留扩散模型的强大编辑能力。实验表明，在合适的下采样因子下，LDM能显著提升图像合成质量。

High-Resolution Image Synthesis with Latent Diffusion Models

Paper : https://openaccess.thecvf.com/content/CVPR2022/html/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.html

Github : https://github.com/CompVis/latent-diffusion

Overview

Pipeline:

objective

这篇文章的重点就在于，为什么从pexel space到latent space是可行的——在保证减少计算成本的前提下保留了大部分扩散模型的功能，在下一节Motivation会给出解释。

论文提出的模型其实相较于一般的扩散模型没有很大区别，采用模块化设计，可以看作在原始的扩散模型输入和输出地方加了编码、解码；在预测噪声的U-Net输入前也加入了一个domain specific encoder做为对条件输入的编码，其实在实验里提到：对于以对齐的图

最低0.47元/天 解锁文章
nappingman
关注
high-resolution image synthesis with latent diffusion models
liguandong
12-26 5354
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
【深度学习】High-Resolution Image Synthesis with Latent Diffusion Models，论文
q742971636的博客
07-30 1949
通过将图像形成过程分解为去噪自动编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成结果。此外，它们的构建方式允许引入引导机制以控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的DMs通常需要耗费数百个GPU天，并且由于需要进行连续评估，推理成本高昂。为了在有限的计算资源上实现DM训练并保持其质量和灵活性，我们将它们应用于强大的预训练自动编码器的潜变空间。
【文献阅读笔记】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_43480392的博客
11-01 1415
通过将图像形成过程分解为去噪自动编码器的连续应用，diffusion models(DMs)在图像数据上取得了最先进的合成结果。此外，他们的公式允许用于控制图像生成过程而不需要重新训练的导向机制。不过，由于这些模型通常直接在像素空间操作，优化强大的 DM 通常消耗数百个 GPU，并且由于连续评估，推论是昂贵的。为了使DM能够在有限的计算资源训练，同时保留其质量和灵活性，文中作者将其应用于强大的预训练自动编码器的潜在空间中。
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3525
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
014_SSS_High-Resolution Image Synthesis with Latent Diffusion Models
D_Trump的博客
09-13 3203
High-Resolution Image Synthesis with Latent Diffusion Models阅读笔记
High-Resolution Image Synthesis with Latent Diffusion Models
qq_36201400的博客
03-08 1292
为了在有限的计算资源上进行 DM 训练，同时保持其质量和灵活性，我们将它们应用在强大的预训练自动编码器的潜在空间中。与之前的工作相比，在这种表示上训练扩散模型首次允许在复杂性降低和细节保留之间达到接近最佳的点，从而极大地提高了视觉保真度。通过将交叉注意力层引入模型架构中，我们将扩散模型转变为强大而灵活的生成器，用于一般调节输入（例如文本或边界框），并且以卷积方式使高分辨率合成成为可能。
【Stable Diffusion论文精读】High-Resolution Image Synthesis with Latent Diffusion Models（主打详细和易懂）
zik的博客
05-07 2930
Stable Diffusion图像编码器和解码器基于VQGAN，然后用的扩散模型是，条件编码器用的是CLIP或者a domain specific encoder（如BERT），通过cross-attention融入到UNet中。采样过程用了DDIM加速和条件采样（UNet架构也是用的这个一样的）。其中VQGAN和CLIP是直接加载预训练模型，训练时只需要训练扩散模型。方法鸟瞰;
Paper - VQGAN: Taming Transformers for High-Resolution Image Synthesis 简读
AGI
02-06 1269
本文获得一个有效和富有表现力的模型的关键启发是，卷积和Transformer架构结合起来，可以建模视觉世界的组合性质：本文使用卷积方法来高效地学习一个包含丰富上下文的视觉部件的码本，然后学习一个全局组合的模型。这些组合中的长距离交互，需要一个富有表现力的Transformer架构，来建模其构成视觉部件的分布。此外，本文利用对抗方法，来确保局部部件的字典，捕捉到感知上重要的局部结构，从而减轻了用Transformer架构建模低级统计的需要。让Transformer专注于独特优势——建模长距离关系——使它们能够
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 1万+
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
论文笔记High-Resolution Image Synthesis with Latent Diffusion Models
icylling的专栏
12-19 3710
该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。
【扩散模型】3、Stable Diffusion 原型 | High-Resolution Image Synthesis with Latent Diffusion Models
呆呆的猫的博客
04-02 1944
本文主要介绍 stable diffusion 原型—— Latent diffusion models
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 5万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
4、High-Resolution Image Synthesis with Latent Diffusion Models
小白的博客
03-04 3376
diffusion
【CVPR 2022】（LDM）High-Resolution Image Synthesis with Latent Diffusion Models
Drug discovery
11-22 6253
详细解读Latent Diffusion Models：原理和代码
[Stable Diffusion/LDM] High-Resolution Image Synthesis with Latent Diffusion Models
最新发布
sinat_30618203的博客
06-12 1441
DM的train和infer均需大量的时间和显存。
Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
kebijuelun的博客
12-14 584
2021 年 runway 和慕尼黑路德维希·马克西米利安大学出品的文章，开源社区大名顶顶的文生图模型 stable diffusion 背后的论文。提出 Latent Diffusion Models，基于 latent space 进行 diffusion，降低计算量需求。
论文阅读--High-Resolution Image Synthesis with Latent Diffusion Models
weixin_47628481的博客
12-30 1409
Diffusion model相比GAN可以取得更好的图片生成效果，然而该模型是一种自回归模型，需要反复迭代计算，因此训练和推理代价都很高。论文提出一种在潜在表示空间（latent space）上进行diffusion过程的方法，从而能够大大减少计算复杂度，同时也能达到十分不错的图片生成效果。扩散模型是一类概率模型，设计用于通过逐渐去噪正态分布变量来学习数据分布pxp(x)px，这相当于学习固定马尔可夫链长度TTT的逆过程。
论文阅读：High-Resolution Image Synthesis with Latent Diffusion Models
huzimu_的博客
02-26 1548
Stable Diffusion技术论文《High-Resolution Image Synthesis with Latent Diffusion Models》的阅读记录。
high-resolution video synthe锟緎is with latent diffusion models
01-08
高分辨率视频合成是指利用潜在扩散模型来生成高质量的视频序列。潜在扩散模型是一种用于学习数据分布的生成模型，能够从输入数据中学习到数据的潜在特征并利用这些特征来生成符合真实数据分布的新样本。 利用高分辨率视频合成技术，我们能够通过潜在扩散模型生成出更加逼真的视频图像，有效提升视频合成的质量和分辨率。这种技术在视频制作、特效合成和虚拟现实领域有着广泛的应用，能够为用户提供更加真实的视觉体验。 高分辨率视频合成与潜在扩散模型的结合，使得生成的视频图像质量更高，细节更丰富，色彩更真实，给用户带来了更好的视觉感受。同时，利用潜在扩散模型的优势，我们还能够对视频进行更加精细的控制和编辑，使得合成的视频更加符合人们的需求和期待。 总之，高分辨率视频合成技术的发展，结合潜在扩散模型的应用，为视频合成领域带来了新的突破，使得我们能够生成出更加逼真、质量更高的视频图像，为用户提供更好的视觉体验。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值