High-Resolution Image Synthesis with Latent Diffusion Models论文学习

已于 2024-09-05 20:55:58 修改
阅读量98 收藏
点赞数
文章标签： 学习
于 2024-09-05 18:57:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LI_XIAO_XING/article/details/141938159
版权

想要研究多模态数据生成就要研究diffusion架构。今天通过这个论文来学习一下。

在此之前先通过博文扩散模型 (Diffusion Model) 之最全详解图解-CSDN博客学习一下。

GAN就是生成对抗模型，让两个模型打擂台，一个造假一个打假。

而diffusion模型则是从原始数据Pdata(真实的图像)出发，不断地给他加上高斯噪声，让他面目全非，然后再复原。这个复原过程是可以学习的。

上述过程也被称为扩散与逆扩散。

这里要记录两个概念：后验概率与马尔卡夫链。

后验概率就是说在某件事情已经发生的情况下，推测这件事是因为什么原因产生的概率。在diffusion模型中，我们是先加噪声，然后逆向还原，这个过程其实就是计算后验概率的过程，我们先得到被加了噪声的图片，然后以此为基础推测各个像素点经历了什么，原本是什么样。

马尔卡夫链就是一系列随机过程，每一个节点的情况只和上一个节点的情况有关，不会受到上上个节点等更远的节点的影响。diffusion模型中的扩散过程就是一个马尔卡夫过程。

接下来是对一些细节的更加数学化的描述。

前向过程的详细解释

这里就遇到一个问题了。我们做深度学习肯定要能反向传播，要能求导，但这边全都是随机过程，系数在哪里？

这样就有系数，可以导了。

逆向过程详细解释

李小星同志
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
high-resolution image synthesis with latent diffusion models
liguandong
12-26 4930
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
Stable Diffusion：High-Resolution Image Synthesis with Latent Diffusion Models论文学习
weixin_42323588的博客
09-09 146
前一篇Diffusion算法明显的缺点是耗费大量的时间、计算资源，为此，论文将其应用于强大的预训练自编码器的潜在空间 ，这是首次允许在复杂性降低和细节保存之间达到一个近乎最佳的点，极大地提高了视觉保真度。通过在模型架构中引入交叉注意层，将扩散模型转化为强大而灵活的生成器，用于一般条件输入，如文本或包围框，并以卷积方式实现高分辨率合成。
论文阅读：High-Resolution Image Synthesis with Latent Diffusion Models
huzimu_的博客
02-26 1184
Stable Diffusion技术论文《High-Resolution Image Synthesis with Latent Diffusion Models》的阅读记录。
High-Resolution Image Synthesis with Latent Diffusion Models
m0_59402094的博客
04-18 1193
基于潜在扩散模型的高分辨率图像合成
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 3245
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3217
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 3万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
论文笔记High-Resolution Image Synthesis with Latent Diffusion Models
icylling的专栏
12-19 3217
该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。
LDM：High-Resolution Image Synthesis with Latent Diffusion Models
weixin_44966641的博客
02-18 1363
Stable Diffusion 的影响力不用多说，本文主要提了 LDM 技术上的两个关键点。其中 VAE 感知压缩要首先深刻理解一系列自编码压缩方法（之前的文章都有介绍），然后搞懂 KL-reg 和 VQ-reg 两种正则化方式实际上相当于什么方法，以及为什么要加正则。交叉注意力的条件生成机制也是目前比较常用的，理解好交叉注意力机制本身是如何操作的即可，别的就是如何将不同的条件形式进行高效编码。
High-Resolution Image Synthesis with Latent Diffusion Models.pdf
05-18
High-Resolution Image Synthesis with Latent Diffusion Models Latent Diffusion Model（LDM）是一种基于自编码器的序贯去噪自编码器，可以生成高分辨率图像。该模型可以在latent空间中进行训练，从而大幅减少...
【深度学习】High-Resolution Image Synthesis with Latent Diffusion Models，论文
q742971636的博客
07-30 1584
通过将图像形成过程分解为去噪自动编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成结果。此外，它们的构建方式允许引入引导机制以控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的DMs通常需要耗费数百个GPU天，并且由于需要进行连续评估，推理成本高昂。为了在有限的计算资源上实现DM训练并保持其质量和灵活性，我们将它们应用于强大的预训练自动编码器的潜变空间。
【学习笔记】卫星通信NTN 3GPP标准化进展分析（六）- 参考标准
u011376987的博客
09-01 1127
本文总结了NTN标准化进程以及后续的研究计划，是学习NTN协议的入门。本文来自3GPP Joern Krause, 3GPP MCC。
iomuxc、pinctrl子系统、gpio子系统（学习总结）
weixin_61385844的博客
09-04 788
IOMUXC是SOC设计中实现引脚复用的关键组件，它通过动态切换引脚功能，提高了IO资源的利用率，满足了不同外设和功能的IO需求。在配置和使用IOMUXC时，需要参考芯片使用手册和设备树文档，确保引脚功能的正确设置。
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 1137
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
学习项目1
m0_62803606的博客
09-03 1594
这篇文章主要记录你最近入手的无线串口模块的配置情况，这是个很好的习惯，尤其是在你以后需要重复操作或排查问题时，会非常有帮助。- **DL_20无线串口模块**：这是一个常见的无线串口通信模块，通常基于nRF24L01+等无线通信芯片，支持点对点或多点通信，适合短距离的无线数据传输。是的，如果你按照步骤成功配置了两个模块并将它们连接到单机和电脑，当你在上位机软件（如SSCOM）上能稳定地接收到从单片机发送的数据（例如每秒输出的T值），就说明两个无线模块之间的通信已经配置成功。
算法的学习笔记—把数字翻译成字符串
业精于勤，荒于嬉
08-31 952
通过动态规划的方法，我们可以高效地计算出一个数字字符串有多少种不同的翻译方法。这个问题不仅考察了我们对动态规划的理解，还让我们熟悉了如何处理字符串中的边界情况和状态转移。希望通过这个例子的讲解，能够帮助你更好地理解动态规划的应用。😁热门专栏推荐想学习vue的可以看看这个java基础合集数据库合集redis合集nginx合集linux合集手写机制微服务组件spring_尘觉springMVCmybit欢迎大家加入我的社区尘觉社区文章到这里就结束了，如果有什么疑问的地方请指出，诸佬们一起来评论区一起讨论
IP学习——Fiveday
最新发布
qq_52973916的博客
09-05 259
设备排错：注意黑洞路由
EmguCV学习笔记 C# 第10章 人脸识别
UruseiBest 的技术专栏
09-05 281
EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。10.1 人脸检测 CascadeClassifier类。10.2.2.1 EigenFaceRecgnizer类。10.2.1 LBPHFaceRecgnizer类。10.2 人脸识别 FaceRecgnizer类。教程配套文件及相关说明。
more control for free! image synthesis with semantic diffusion guidance代码
12-09
“更多控制，更自由！图像合成与语义扩散引导代码”是一种基于语义信息的图像合成技术。它利用先进的深度学习模型，通过语义扩散引导，能够更好地控制图像的合成过程，从而实现更自由、更精准的图像合成。 这个代码的优势在于可以更好地理解图像的语义信息，从而在图像合成过程中更精确地控制物体的形状、颜色、纹理等细节，使图像合成更加真实、自然。在使用这个代码进行图像合成时，用户可以根据自己的需求，更加灵活地调整图像的合成效果，实现更多样化、个性化的图像合成效果。 与传统的图像合成方法相比，这个代码能够为用户提供更多的控制权和自由度，使图像合成过程更具有创造性和灵活性。这对于图像合成领域的研究者和从业者来说，将会是一个重要的工具和资源，能够为他们的工作带来更大的价值和创新空间。 总的来说，“更多控制，更自由！图像合成与语义扩散引导代码”代表了图像合成技术的最新发展趋势，将为图像合成领域带来更多的可能性和机遇。相信随着这个代码的广泛应用和进一步完善，图像合成技术将会迎来更加美好的未来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值