【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models

已于 2024-02-25 23:07:28 修改
阅读量251 收藏 1
点赞数 1
分类专栏： VLM/多模态 文章标签： stable diffusion
于 2023-10-25 00:17:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/134025038
版权
稳定扩散模型(Stable Diffusion)是一种潜在的文本到图像扩散模型，能生成高分辨率的照片般逼真图像。基于latent-diffusion，相关工作包括DDPM和LDM，该模型在LAION数据集上训练，能进行图像合成、超分辨率和修复。论文介绍了条件推理链路、模型结构和优势，与DALLE-e、VQGAN等进行比较，并提供多个示例展示效果。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
【Stable Diffusion论文精读】High-Resolution Image Synthesis with Latent Diffusion Models（主打详细和易懂）
zik的博客
05-07 2061
Stable Diffusion图像编码器和解码器基于VQGAN，然后用的扩散模型是，条件编码器用的是CLIP或者a domain specific encoder（如BERT），通过cross-attention融入到UNet中。采样过程用了DDIM加速和条件采样（UNet架构也是用的这个一样的）。其中VQGAN和CLIP是直接加载预训练模型，训练时只需要训练扩散模型。方法鸟瞰;
high-resolution image synthesis with latent diffusion models
liguandong
12-26 4938
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
【论文阅读】Stable Diffusion
weixin_57974242的博客
11-02 625
扩散是在下图中粉红色的图像信息创建器组件中发生的过程，过程中包含表征输入文本的token嵌入，和随机的初始图像信息矩阵（也称之为latents），该过程会还需要用到图像解码器来绘制最终图像的信息矩阵。整个运行过程是step by step的，每一步都会增加更多的相关信息。整个diffusion过程包含多个steps，每个step都是基于输入的latents矩阵进行操作，并生成另一个latents矩阵以更好地贴合「输入的文本」和从模型图像集中获取的「视觉信息」。
【论文系列解读】StableDiff总结
JackCrum的博客
06-17 4970
可以参考此处：https://blog.csdn.net/weixin_40920183/article/details/130652651总的来说，diffusion就是分为训练和采样两个阶段。（A）训练阶段：其中，训练阶段的目标是将加噪后的隐向量输入到UNetModel 来输出预估噪声，和真实噪声信息标签（初始化使用随机高斯噪声Gaussian Noise）作比较来计算KL 散度 loss，并通过反向传播算法更新 UNetModel 模型参数；
天才程序员周弈帆 | Stable Diffusion 解读（二）：论文精读
csdn_xmj的博客
06-10 1932
简单来说，Stable Diffusion是一个两阶段的图像生成模型，它先用一个AE压缩图像，再在压缩图像所在的隐空间上用DDPM生成图像。在这篇文章中，我们来精读Stable Diffusion的论文：High-Resolution Image Synthesis with Latent Diffusion Models。
High-Resolution Image Synthesis with Latent Diffusion Models
qq_36201400的博客
03-08 1028
为了在有限的计算资源上进行 DM 训练，同时保持其质量和灵活性，我们将它们应用在强大的预训练自动编码器的潜在空间中。与之前的工作相比，在这种表示上训练扩散模型首次允许在复杂性降低和细节保留之间达到接近最佳的点，从而极大地提高了视觉保真度。通过将交叉注意力层引入模型架构中，我们将扩散模型转变为强大而灵活的生成器，用于一般调节输入（例如文本或边界框），并且以卷积方式使高分辨率合成成为可能。
【深度学习】High-Resolution Image Synthesis with Latent Diffusion Models，论文
q742971636的博客
07-30 1596
通过将图像形成过程分解为去噪自动编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成结果。此外，它们的构建方式允许引入引导机制以控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的DMs通常需要耗费数百个GPU天，并且由于需要进行连续评估，推理成本高昂。为了在有限的计算资源上实现DM训练并保持其质量和灵活性，我们将它们应用于强大的预训练自动编码器的潜变空间。
【翻译】图解Stable Diffusion
我是菜鸡
03-17 3565
扩散”指的是下图中粉色这一块组件“图像信息生成器”中发生的处理过程。该组件获取能表示输入文本信息的token嵌入和一个随机初始化的图像信息张量（aka 潜变量），然后用它们生成一个信息张量，把这个信息张量交给图像解码器，去生成最终的图像。这个过程是一步一步进行的，逐步添加相关信息。想更直观的了解这个过程的话我们可以去检查随机潜变量那个张量，可以看到它逐步转变为图像噪声。这个检查过程需要借助图像解码器进行。
强大到离谱！硬核解读Stable Diffusion（完整版）
热门推荐
qq_41771998的博客
04-11 1万+
2022年可谓是，上半年有文生图大模型和，下半年有OpenAI的文本对话大模型问世，这让冷却的AI又沸腾起来了，因为AIGC能让更多的人真真切切感受到AI的力量。这篇文章将介绍比较火的文生图模型，Stable Diffusion不仅是一个完全开源的模型（代码，数据，模型全部开源），而且是它的参数量只有1B左右，大部分人可以在普通的显卡上进行推理甚至精调模型。毫不夸张的说，Stable Diffusion的出现和开源对AIGC的火热和发展是有巨大推动作用的，因为它让更多的人能快地上手AI作画。
基于 ROS 的Terraform托管服务轻松部署Stable Diffusion
AliCloudROS的博客
09-12 965
Stable Diffusion是文本到图像的生成模型，ROS服务借助 Infrastructure as Code 理念，通过Terraform模板实现该模型在阿里云的快速自动化部署，提升效率与稳定性，简化云资源及应用部署流程。
Stable Diffusion AI算法，实现一键式后期处理与图像修复魔法
Why_does_it_work的博客
09-10 1080
在数字影像领域的后期处理技术方面，人工智能技术，特别是Stable Diffusion技术的应用，已经取得了显著的进步。这项技术通过智能色彩校正、光影重塑、细节优化和噪点去除等功能，不仅保留了图像的原始信息，避免了失真，还实现了高效且易用的专业级别修复体验。这极大地提升了图像处理的效率和品质，降低了技术门槛，使得更多的人能够轻松享受到高质量图像处理带来的便利。通过好易智算平台，我们可以迅速启动Stable Diffusion模型，整合多个AI应用程序，使得访问和使用这些先进技术变得简单快捷。
【笔记】扩散模型（七）：Latent Diffusion Models（Stable Diffusion）论文解读与代码实现
LittleNyima的博客
09-10 1308
详解Stable Diffusion论文与代码实现
Stable diffusion生图原理
落霞与孤鹜齐飞，秋水共长天一色。
09-06 1173
最详细的Stable diffusion原理，sd工作原理，参考文章https://stable-diffusion-art.com/how-stable-diffusion-work/
python从入门到实践外星人入侵
09-14
python pycharm 外星人
『人事流程图新』公务车辆管理流程图.xlsx
09-14
『人事流程图新』公务车辆管理流程图.xlsx
应届大学生求职通用简历表格
最新发布
09-14
应届大学生求职通用简历表格
high-resolution video synthe锟緎is with latent diffusion models
01-08
高分辨率视频合成是指利用潜在扩散模型来生成高质量的视频序列。潜在扩散模型是一种用于学习数据分布的生成模型，能够从输入数据中学习到数据的潜在特征并利用这些特征来生成符合真实数据分布的新样本。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值