Stable Diffusion模型运算量分析

最新推荐文章于 2025-03-21 10:38:28 发布
最新推荐文章于 2025-03-21 10:38:28 发布
阅读量1w 收藏 12
点赞数 3
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luoyu510183/article/details/127695184
版权
本文分析了Stable Diffusion模型的计算量，主要包括TextEncoder、UNet2DCondition、VAE Encoder+Decoder。UNet2DCondition是图像生成的主要部分，参数量大，卷积和矩阵计算各占约一半运算量。VAE的Encoder和Decoder以卷积为主，运算量巨大。建议通过降低输出分辨率并结合超分辨率网络提高图像质量，而非直接增大模型分辨率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

准备

模型的参数量和计算量参考: ThanatosShinji/onnx-tool: ONNX model's shape inference and MACs(FLOPs) counting. (github.com)这四个模型就是Stable Diffusion 1.4 最主要的4个onnx模型:

 github中的百度网盘可以下载带中间tensor shape的模型. 比如:

TextEncoder

这个模型很像BERT, 12 layers的Bert Base. 运算量6.7GMACs.

和 BertBase一样, 运算量98%都集中在MatMul上面.

 

这个token生成了1x77x768的hidden state需要送给UNetCondition.

最低0.47元/天 解锁文章
Mr_L_Y
关注
Stable Diffusion模型对比
weixin_44733295的博客
01-08 2580
Stable Diffusion V1系列是用基于GPT的CLIP模型，其模型参数量为123.65M； Stable Diffusion V2系列则换成了更新更好的OpenCLIP模型，其参数量为354.03M，相比SD V1的Text Encoder模型大了3倍左右 Stable Diffusion v1：它使用了LAION-2B (en)数据集以及laion-high-resolution和laion-improved-aesthetics的子集进行训练。laion-improved-aesthet
扩散模型 - Stable Diffusion
qq_43505867的博客
06-03 2799
所以 U-Net（噪音预测器）预测的噪音也是以潜变量的形式表示的。每一步扩散的输入是潜变量，输出是信息进一步丰富的潜变量。最终的输出是一张图像。​ Stable Diffusion 的开源模型中使用的是 OpenAI 的 CLIP（基于 GPT），而其论文中使用的是 Google 的 BERT。Stable Diffusion 可以完成多模态任务，包括：文字生成图像（text2img）、图像生成图像（img2img）等。​ 有工作指出：文本编码器的选择对于扩散模型的表现比图像生成器的选择更重要。
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）_stable diffusion结构
最新发布
Python栈_基的博客
03-21 1279
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
Stable Diffusion 模型具体如何设置参数？
AI3456的博客
03-15 509
同时，多尝试不同的参数组合，能够帮助你更好地掌握Stable Diffusion模型的使用技巧，生成更符合预期的高质量图像。较高的CFG Scale值会使模型更专注于提示词，生成更符合描述的图像，但可能限制图像的多样性。：与num_inference_steps类似，采样步数越多，生成的图像质量越高，但生成时间也会更长。默认生成512×512像素的图像，如果需要生成矩形图像，建议设置为8的倍数，以避免图像内容被裁剪或缩放错误。较高的去噪强度会使生成的图像与原始图像差异更大，适用于需要大幅修改的场景。
关于AI绘画Stable diffusion的各种模型，看这篇就可以了！
白帽阿叁的博客
05-23 2685
Stable diffusion的模型除了上述的分类之外，从用途上看，还分为官方模型、二次元模型（动漫）、真实系模型和2.5D模型四大类。4.1 官方模型官方模型有 1.X 和 2.X 两个大版本，目前在 1.X 中官方发布的有四个版本，分别是v1-1、v1-2、v1-3、v1-4如无法下载，请看文末扫描获取。
Stable Diffusion模型介绍
A2421417624的博客
04-07 1941
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable diffusion扩散模型相关
hn_lgc的专栏
02-17 7189
作者：路橙LuChengTHU链接：https://www.zhihu.com/question/536012286/answer/2533146567来源：知乎变分后验分布的表达能力与计算代价的权衡一直是VAE领域的核心痛点。GAN还需要额外训练判别器，这导致训练很困难；normalizing flow需要模型是可逆函数，不能随便用一个图像分类or分割领域的SOTA神经网络，这也导致模型表达能力受限。
Stable Diffusion模型概述
月流霜的专栏
05-09 1040
在Stable Diffusion v1中，VAE文件用于改善眼睛和面部的效果。它们是我们刚刚讨论的自动编码器的解码器。通过进一步微调解码器，模型可以呈现更精细的细节。你可能意识到我之前提到的并不完全正确。将图像压缩到潜在空间确实会丢失信息，因为原始的VAE没有恢复出精细的细节。相反，VAE解码器负责绘制精细的细节。这篇文章不完整，没有解释分类器免费引导（CFG），这是AI艺术家每天都在调整的一个值。为了理解它是什么，我们首先需要谈谈它的前身，分类器引导…
十分钟读懂Stable Diffusion运行原理
周红伟讲AI
03-05 1398
AI 绘画作为 AIGC（人工智能创作内容）的一个应用方向，它绝对是 2022 年以来 AI 领域最热门的话题之一。AI 绘画凭借着其独特创意和便捷创作工具迅速走红，广受关注。举两个简单例子，左边是利用 controlnet 新魔法把一张四个闺蜜在沙滩边上的普通合影照改成唯美动漫风，右边是 midjourney v5 最新版本解锁的逆天神技， 只需输入文字“旧厂街风格，带着浓浓 90 年代氛围感”即可由 AI 一键生成超逼真图片！图1 两个stable diffusion例子。
2024-Stable Diffusion全套资料（软件+关键词+模型）.rar
03-08
2024年发布的Stable Diffusion全套资料包含了软件、关键词和模型三个部分，这三者共同构成了一个完整的图像生成系统。 首先，软件部分指的是实际运行Stable Diffusion算法的程序。这个软件可以是一个独立的应用程序...
开源图像模型Stable Diffusion入门手册
2401_84760719的博客
08-15 1057
Stable Diffusion 是 2022 年发布的深度学习文字到图像生成模型。它主要用于根据文字的描述产生详细图像，能够在几秒钟内创作出令人惊叹的艺术作品，本文是一篇使用入门教程。
Stable Diffusion之最全详解图解
Qpeterqiufengyi的博客
06-11 2958
Stable Diffusion之最全详解图解
【stable diffusion模型】深入了解Stable Diffusion模型架构和核心组件（CLIP/Unet/VAE）
z19981的博客
01-06 1374
Stable Diffusion 是一种基于扩散技术的深度学习文本转图像模型，利用潜在扩散模型（Latent Diffusion Model，LDM）来生成高质量的图像。它主要用于生成以文字描述为条件的详细图像，但也可应用于其他任务，如 inpainting（图像修复）、outpainting（图像扩展）以及根据文字提示词生成图像到图像（image-to-image）的转换。
stable diffusion模型讲解
月流霜的专栏
05-11 166
扩散是在下图中粉红色的图像信息创建器组件中发生的过程，过程中包含表征输入文本的token嵌入，和随机的初始图像信息矩阵（也称之为latents），该过程会还需要用到图像解码器来绘制最终图像的信息矩阵。整个运行过程是step by step的，每一步都会增加更多的相关信息。为了更直观地感受整个过程，可以中途查看随机latents矩阵，并观察它是如何转化为视觉噪声的，其中视觉检查（visual inspection）是通过图像解码器进行的。
stable diffusion 模型训练
01-11
### Stable Diffusion 模型训练教程 #### 3.1 准备工作环境 要开始Stable Diffusion模型的训练，首先需要设置适当的工作环境。这通常涉及安装必要的软件包和库文件，确保有足够的计算资源支持训练过程。对于大多数用户来说，建议使用配备有NVIDIA GPU的支持CUDA的机器来加快训练速度。 #### 3.2 数据集准备 高质量的数据集是成功的关键之一。针对特定应用场景收集或创建适合的任务导向图片集合非常重要。理想情况下，应该拥有大量标注良好的样本用于监督学习模式下的参数调整[^2]。 #### 3.3 配置超参数 在启动实际训练之前，还需要仔细配置一系列影响最终效果的重要因素——即所谓的“超参数”。这些可能包括但不限于批量大小(batch size)，初始学习率(learning rate)，迭代次数(epoch number)等。合理设定它们能够有效提升收敛性能并获得更好的泛化能力。 #### 3.4 使用混合精度训练优化 采用混合精度训练方法可以显著改善训练效率而不牺牲准确性。具体做法是在前向传播过程中利用较低位宽（如FP16）表示张量，在反向传播时恢复至更高精度完成梯度更新操作。这种方法不仅减少了显存占用还提高了运算速率[^4]。 ```python from torch.cuda import amp scaler = amp.GradScaler() for data, target in dataloader: optimizer.zero_grad() with amp.autocast(): output = model(data) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` #### 3.5 应用模型并行技术 当面对非常庞大的网络结构时，可以通过划分不同层间的任务分配给多台设备共同处理的方式来减轻单一GPU的压力。此策略特别适用于那些具有复杂架构设计的大规模预训练模型迁移场景下。 #### 3.6 实施梯度累积技巧 有时候由于硬件条件限制无法一次性加载较大的batch尺寸参与一轮完整的正负反馈循环；此时可考虑引入梯度累加机制作为替代方案。它允许程序先累计若干个小批次上的变化趋势后再统一执行一次权重修正动作，从而间接实现了大batch的效果而无需额外投资昂贵设备升级成本。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值