通俗易懂的Stable Diffusion模型结构介绍

已于 2024-04-28 19:39:09 修改
阅读量5.8k 收藏 49
点赞数 52
分类专栏： StableDiffusion 文章标签： stable diffusion 人工智能 神经网络 图像处理 AI作画 DALL·E 2 prompt
于 2024-04-28 19:33:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61144763/article/details/138287686
版权
文章介绍了StableDiffusion，一种基于文本条件的隐式扩散模型，通过CLIP文本编码器处理提示词，U-Net生成图像，VAE进行图像压缩。模型利用交叉注意力机制和VAE的解码器，有效提高图像生成效率和质量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

SD的发展历程

SD 模型的网络结构

        ClipText 文本编码器

        文本向量输入Unet

        VAE模型

总结图

SD的发展历程

Stable Diffusion是一个的文本条件隐式扩散模型(text-conditioned latent diffusion model)，可以根据文字描述生成效果极好的图像。

2021年12月提出了隐式扩散模型（Latent Diffusion Models，LDMs）的text-to-image模型。这个研究使得用扩散模型进行文字生成图片任务可以在普通显卡上执行，并且耗时较短。为一年后现象级的稳定扩散（Stable Diffusion）诞生奠定了基础。

SD 模型的网络结构

主要包括三个部分：

ClipText 文本编码器

ClipText 文本编码器：用于解析提示词的 Clip 模型

文本编码器负责将提示词转换成电脑可以识别的文本向量

Diffusion 扩散模型

Diffusion 扩散模型：用于生成图像的 U-Net 和 Scheduler

扩散模型负责根据文本向量生成图像

VAE 模型

VAE 模型：用于压缩和恢复的图像解码器

而图像编码器则用于将生成的图像信息进行解码，以生成最终的图像输出

简化网络结构图

最低0.47元/天 解锁文章
Stable Diffusion之最全详解图解
DFCED的博客
02-14 2万+
Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的转变。它是一种潜在扩散模型，由慕尼黑大学的CompVis研究团体开发的各种生成性人工神经网络之一。它是由初创公司StabilityAI、CompVis与Runway合作开发，并得到EleutherAI和LAION的支持。截至2022年10月，StabilityAI筹集了1.01亿美元的资金。
[论文笔记] stable diffusion——3、模型介绍
心宝的博客
08-15 644
扩散模型是一种生成模型，与其他生成模型一样，可以通过从简单分布采样的噪声中生成目标数据样本。扩散模型由前向过程和反向过程组成，其中前向过程又称为扩散过程。前向过程和反向过程都是参数化的马尔可夫链，其中反向过程可以用于生成数据样本。与GAN生成器不同的是，DDPM的反向过程没有维度变化。
【stable diffusion模型】一篇文章讲懂Stable diffusion的各种模型！
z19981的博客
12-31 968
大家好，这里是《[Stable diffusion小白入门]》系列的第3篇，主要是帮大家梳理下Stable diffusion里面的各种模型，模型在Stable diffusion中占据着至关重要的地位，不仅决定了出图的风格，也决定了出图质量的好坏。但在第一次接触SD的时候，我就被里面的模型搞到头大，不仅有多种模型后缀，模型之间也有很多种类型，如果是新手小白的话，在这一步就很容易被搞晕。而在本期文章，技术巫帮你系统梳理了SD的模型，相信不管是对于小白还是老手，都会有一定帮助！
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）_stable diffusion结构
Python栈_基的博客
03-21 1242
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）
2401_84760322的博客
11-14 3760
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
通俗理解DDPM到Stable Diffusion原理
orangerfun的博客
08-27 2115
Stable diffusion原理详解
揭秘AI人工智能中Stable Diffusion的图像生成原理
最新发布
AI智能探索者的博客
04-29 1021
Stable Diffusion作为一种强大的图像生成技术，在艺术创作、设计、娱乐等多个领域展现出了巨大的潜力。本文的目的是深入剖析Stable Diffusion的图像生成原理，帮助读者理解其背后的技术细节。范围涵盖了从核心概念的介绍到具体算法的实现，以及实际应用场景和未来发展趋势等方面。本文将按照以下结构进行阐述：首先介绍Stable Diffusion的核心概念与联系，包括潜在扩散模型的架构；接着详细讲解核心算法原理和具体操作步骤，并给出Python代码示例；然后介绍相关的数学模型和公式；
【AIGC】Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式
Life is short
04-20 7260
在这篇博客中，将会用机器学习入门级描述，来介绍Stable Diffusion的关键原理。目前，网络上的使用教程非常多，本篇中不会介绍如何部署、使用或者微调SD模型。也会尽量精简语言，无公式推导，旨在理解思想。让有机器学习基础的朋友，可以快速了解SD模型的重要部分。如有理解错误，请不吝指正。
Stable Diffusion 基础模型结构超级详解！
关于我的学习记录
03-25 1131
第一个只用来解决序列到序列问题的模型，最早被 Google 用来解决对于中英翻译而言，需要解决三个具体的问题：如何用数字表示中文和英文如何让神经网络理解语义如何让神经网络生成英文。
【扩散模型】12、Stable Diffusion | 使用 Diffusers 库来看看 Stable Diffusion 的结构
呆呆的猫的博客
01-09 7505
本文主要介绍 stable diffusion
【StableDiffusion】StableDiffusion 扩散模型的原理、UNet 结构解析、Encoder、CLIP Encoder -＞ Prompt Embedding（概览）
励志成为会前后端、运维、云服务、嵌入式开发、AI和自动化技术的创业小老板！
06-13 3894
其实，所谓的“点”，是从 572 * 572 * 1 变成了 32 * 32 * 1024，只是变小了，升维了而已经过卷积之后，才会变成高维的小图像，而不是一开始就是高维在图中，最开始的 Z 是一个格式为 572 \times 572 \times 1 的张量。这意味着 Z 是一个具有单通道（channel）的二维噪声图像。尽管它看起来是一个二维结构，但在扩散模型的上下文中，它仍然可以被理解为在一个高维空间中的点。高维空间的定义在机器学习和深度学习的上下文中，高维空间并不一定仅仅指向量的维数。
Stable Diffusion原理详解（附代码实现）
白帽阿叁的博客
02-05 5185
今天我们以GAN开始，介绍了AI绘画领域的一些模型，并把Stable Diffusion作为今天的主角，详解介绍了Stable Diffusion的实现原理。我们还使用Diffusers模块实现了Stable Diffusion生成图像的代码。在Stable Diffusion中，还有诸如LoRA、Controlnet等相关技术，在本文没有详细提到。而这些东西在AI绘画中却非常重要，也让AI绘画可以应用在更多领域。
AIGC专栏2——Stable Diffusion结构解析-以文本生成图像（文生图，txt2img）为例
Bubbliiiing的学习小课堂
06-11 2万+
用了很久的Stable Diffusion，但从来没有好好解析过它内部的结构，写个博客记录一下，嘿嘿。Stable Diffusion是比较新的一个扩散模型，翻译过来是稳定扩散，虽然名字叫稳定扩散，但实际上换个seed生成的结果就完全不一样，非常不稳定哈。Stable Diffusion最开始的应用应该是文本生成图像，即文生图，随着技术的发展Stable Diffusion不仅支持image2image图生图的生成，还支持ControlNet等各种控制方法来定制生成的图像。
【stablediffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）
阿道夫的博客
12-23 1409
*Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
Stable Diffusion 超详细讲解
热门推荐
略懂……略懂……
06-03 3万+
本文将在《Stable Diffusion原理详解》和《Diffusion Model 深入剖析》这两篇文章的基础上，进一步细致地讲解 Stable Diffusion 的算法原理。
stable diffusion模型 结构介绍
01-15
### Stable Diffusion 模型架构与组成部分 #### CLIP 组件 CLIP (Contrastive Language–Image Pretraining) 是一种多模态模型，能够理解图像和文本之间的关系。在Stable Diffusion 中，CLIP 负责将输入的文字提示转化为可以指导图像生成过程的特征向量[^2]。 #### UNet 组件 UNet 架构是用于条件生成对抗网络的一种编码器-解码器结构，在此框架下被用来逐步逆转由噪声到目标图像的过程。它接收来自潜在空间中的随机噪音以及经过处理后的文本嵌入作为输入，并通过一系列卷积层迭代减少噪声直至形成清晰的目标图像。 #### VAE 编码器/解码器组件 变分自编码器(Variational Autoencoder, VAE)，在这个体系里扮演着两个重要角色——编码真实世界里的高质量图片进入低维度表示形式；再者是从这些紧凑表达重建出高分辨率的结果图样。这不仅有助于降低计算复杂度和支持更高效的训练流程，同时也让最终产出更加贴近自然界的视觉效果。 ```python import torch from diffusers import StableDiffusionPipeline model_id = "CompVis/stable-diffusion-v1-4" device = "cuda" pipe = StableDiffusionPipeline.from_pretrained(model_id).to(device) prompt = "a photograph of an astronaut riding a horse" image = pipe(prompt).images[0] image.save("astronaut_rides_horse.png") ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

库尔特哥德尔的破壁人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值