Stable Diffusion模型运算量分析

最新推荐文章于 2024-05-27 21:29:18 发布
最新推荐文章于 2024-05-27 21:29:18 发布
阅读量8.8k 收藏 12
点赞数 3
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luoyu510183/article/details/127695184
版权

准备

模型的参数量和计算量参考: ThanatosShinji/onnx-tool: ONNX model's shape inference and MACs(FLOPs) counting. (github.com)这四个模型就是Stable Diffusion 1.4 最主要的4个onnx模型:

 github中的百度网盘可以下载带中间tensor shape的模型. 比如:

TextEncoder

这个模型很像BERT, 12 layers的Bert Base. 运算量6.7GMACs.

和 BertBase一样, 运算量98%都集中在MatMul上面.

 

这个token生成了1x77x768的hidden state需要送给UNetCondition.

UNet2DCondition

这个就是UNet

最低0.47元/天 解锁文章
Mr_L_Y
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
stable diffusion模型训练时数据量
liguandong
09-24 2725
laion2B-en数据集，是laion5B的一个子集，更具体的说它是laion-5B中的英文数据集，laion-5B是从网页数据common crawel中筛选出来的图像文本对，包含5.85B的图像文本对，其中文本为英文的数据量为2.32B，这就是laion-2B-en数据集。在laion-2B-en数据集上评分为5以上训练的，先用256x256，再用512x512，用了32台8卡A100 40G，bs=32x8x2x2=2048。在laion-2B-en数据集上评分为4.5以上训练的，
强大到离谱！硬核解读Stable Diffusion（完整版）
qq_41771998的博客
04-11 1万+
2022年可谓是，上半年有文生图大模型和，下半年有OpenAI的文本对话大模型问世，这让冷却的AI又沸腾起来了，因为AIGC能让更多的人真真切切感受到AI的力量。这篇文章将介绍比较火的文生图模型，Stable Diffusion不仅是一个完全开源的模型（代码，数据，模型全部开源），而且是它的参数量只有1B左右，大部分人可以在普通的显卡上进行推理甚至精调模型。毫不夸张的说，Stable Diffusion的出现和开源对AIGC的火热和发展是有巨大推动作用的，因为它让更多的人能快地上手AI作画。
Stable Diffusion模型对比
weixin_44733295的博客
01-08 1510
Stable Diffusion V1系列是用基于GPT的CLIP模型，其模型参数量为123.65M； Stable Diffusion V2系列则换成了更新更好的OpenCLIP模型，其参数量为354.03M，相比SD V1的Text Encoder模型大了3倍左右 Stable Diffusion v1：它使用了LAION-2B (en)数据集以及laion-high-resolution和laion-improved-aesthetics的子集进行训练。laion-improved-aesthet
关于Stable diffusion的各种模型，看这篇就可以了！
最新发布
m0_59163425的博客
05-27 1128
Stable diffusion的模型除了上述的分类之外，从用途上看，还分为官方模型、二次元模型（动漫）、真实系模型和2.5D模型四大类。4.1 官方模型官方模型有 1.X 和 2.X 两个大版本，目前在 1.X 中官方发布的有四个版本，分别是v1-1、v1-2、v1-3、v1-4。
关于AI绘画Stable diffusion的各种模型，看这篇就可以了！
白帽阿叁的博客
05-23 1069
Stable diffusion的模型除了上述的分类之外，从用途上看，还分为官方模型、二次元模型（动漫）、真实系模型和2.5D模型四大类。4.1 官方模型官方模型有 1.X 和 2.X 两个大版本，目前在 1.X 中官方发布的有四个版本，分别是v1-1、v1-2、v1-3、v1-4如无法下载，请看文末扫描获取。
Stable Diffusion 入门教程之参数详解（上）
meijinbo的专栏
03-17 1446
Stable Diffusion绘图参数在绘图过程中起着至关重要的作用，没有一个固定的搭配，可以通过调整这些参数来定制生成图像的风格、细节和构图，以满足不同的创作需求。然而，请注意，不同的参数设置可能会导致生成结果的巨大差异，因此建议在进行参数调整时进行多次尝试和比较，以找到最适合自己需求的设置。前几期必看文章：《Stable Diffusion绘图神器，2分钟极速安装教程！（提供安装包）》《Stable Diffusion 模型下载和使用方法》
当下最强的 AI art 生成模型 Stable Diffusion 最全面介绍
热门推荐
xiqiao_ce的博客
08-26 5万+
目录模型生成效果展示（prompt 全公开）如何注册 Stable Diffusion 使用SD（dreamstudio.ai ）的收费标注如何SD 提供哪些参数可以设置如何使用种子来改进一张作品我用 SD 创作的图片著作权如何归属，可以拿来商用吗？Stable Diffusion 背后的研发团队SD 是如何训练出来的？SD 是开源的吗？SD 未来有哪些可期待的亮点附录：一些有用的资源从本月初开始...
扩散模型 - Stable Diffusion
qq_43505867的博客
06-03 2249
所以 U-Net（噪音预测器）预测的噪音也是以潜变量的形式表示的。每一步扩散的输入是潜变量，输出是信息进一步丰富的潜变量。最终的输出是一张图像。​ Stable Diffusion 的开源模型中使用的是 OpenAI 的 CLIP（基于 GPT），而其论文中使用的是 Google 的 BERT。Stable Diffusion 可以完成多模态任务，包括：文字生成图像（text2img）、图像生成图像（img2img）等。​ 有工作指出：文本编码器的选择对于扩散模型的表现比图像生成器的选择更重要。
Stable diffusion扩散模型相关
hn_lgc的专栏
02-17 6411
作者：路橙LuChengTHU链接：https://www.zhihu.com/question/536012286/answer/2533146567来源：知乎变分后验分布的表达能力与计算代价的权衡一直是VAE领域的核心痛点。GAN还需要额外训练判别器，这导致训练很困难；normalizing flow需要模型是可逆函数，不能随便用一个图像分类or分割领域的SOTA神经网络，这也导致模型表达能力受限。
Stable Diffusion模型概述
月流霜的专栏
05-09 231
在Stable Diffusion v1中，VAE文件用于改善眼睛和面部的效果。它们是我们刚刚讨论的自动编码器的解码器。通过进一步微调解码器，模型可以呈现更精细的细节。你可能意识到我之前提到的并不完全正确。将图像压缩到潜在空间确实会丢失信息，因为原始的VAE没有恢复出精细的细节。相反，VAE解码器负责绘制精细的细节。这篇文章不完整，没有解释分类器免费引导（CFG），这是AI艺术家每天都在调整的一个值。为了理解它是什么，我们首先需要谈谈它的前身，分类器引导…
Stable Diffusion 真人模型 3D仿真模型
10-19
AI绘画 Stable Diffusion真人模仿仿真3D效果 AI绘画 Stable Diffusion真人模仿仿真3D效果 AI绘画 Stable Diffusion真人模仿仿真3D效果 AI绘画 Stable Diffusion真人模仿仿真3D效果 AI绘画 Stable Diffusion真人...
stable diffusion webui lora模型
04-07
stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable diffusion webui lora模型 stable ...
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
02-23
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
AI绘图 Stable diffusion checkpoint模型 ckpt模型 vae模型 Counterfeit-V2.5
04-25
超级漂亮的二次元模型 ...把ckpt模型放在models\Stable-diffusion\下 把vae模型放在models\VAE\下 把embedding模型放在\embeddings\下 把lora模型放在 \extensions\sd-webui-additional-networks\models\lora\下
Stable Diffusion -lora模型
02-19
提供了3个画风模型和6个真人模型，都是我精挑细选的lora模型
stable diffusion模型讲解
zcyzcyjava的博客
05-08 7018
扩散是在下图中粉红色的图像信息创建器组件中发生的过程，过程中包含表征输入文本的token嵌入，和随机的初始图像信息矩阵（也称之为latents），该过程会还需要用到图像解码器来绘制最终图像的信息矩阵。整个运行过程是step by step的，每一步都会增加更多的相关信息。为了更直观地感受整个过程，可以中途查看随机latents矩阵，并观察它是如何转化为视觉噪声的，其中视觉检查（visual inspection）是通过图像解码器进行的。
全网最全stable diffusion模型讲解！快来！！小白必收藏！！
不定期分享ai绘画相关知识~
01-06 3049
扩散是在下图中粉红色的图像信息创建器组件中发生的过程，过程中包含表征输入文本的token嵌入，和随机的初始图像信息矩阵（也称之为latents），该过程会还需要用到图像解码器来绘制最终图像的信息矩阵。整个运行过程是step by step的，每一步都会增加更多的相关信息。为了更直观地感受整个过程，可以中途查看随机latents矩阵，并观察它是如何转化为视觉噪声的，其中视觉检查（visual inspection）是通过图像解码器进行的。
值得你收藏的几个Stable Diffusion模型
在路上的博客
07-29 938
使用Stable Diffusion生成图片，模型是非常重要的，好的模型，哪怕你的提示词差一些、或者是很简单的提示词，也可以生成很不错的图片。
stable diffusion模型训练
04-17
Stable diffusion模型是一种用于研究动态网络的模型，其中网络中的节点之间的联系是不断变化的。它被用来研究在网络中传播的信息、行为或意见如何影响网络中的其他节点。 训练stable diffusion模型的方法通常包括以下步骤： 1. 准备数据：需要准备一组动态网络数据，这些数据记录了每个节点在不同时间段内与其他节点的连接情况。 2. 选择模型：可以使用现有的stable diffusion模型或自己开发新模型。 3. 训练模型：使用机器学习算法（如支持向量机、神经网络等）训练模型，使其能够根据动态网络中的信息传播情况预测网络中的其他节点会受到什么影响。 4. 评估模型：使用模型预测的结果与实际情况进行比较，评估模型的准确性。 5. 调整模型：如果模型的准确性不够高，可以调整模型的参数或使用其他机器学习算法来提高模型的准确性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值