【低显存】 diffusion 爆显存的解决方法

最新推荐文章于 2025-02-21 07:45:00 发布
最新推荐文章于 2025-02-21 07:45:00 发布
阅读量2.6k 收藏 11
点赞数 9
分类专栏： Diffusion 文章标签： pytorch stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/prinTao/article/details/136517437
版权
本文介绍了如何在深度学习模型中使用latentdiffusion技术，包括如何加载预训练组件、使用AutoencoderKL和UniPCMultistepScheduler进行编码和调度，以及如何通过autocast实现低精度训练以提高内存效率。此外，还提供了关于半精度训练适用场景的建议。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 降低分辨率
  2. 降低通道数
  3. 使用latent diffusion，例如stable
  4. 使用低精度训练

下面将分别讲解如何使用这些方法。

使用latent diffusion

目前的主流模型都用了encoder降低中间层resolution，但是有一些比较老的工作，比如sr3，还是老架构。GitHub上有很多改进的工作，可以找找看。不想换的话，只需要配置好diffusers库，然后：
使用图像的低维表示而不是实际的像素空间，这使得它的内存效率更高。编码器将图像压缩为更小的表示，解码器将压缩的表示转换回图像。对于文本到图像模型，您需要一个分词器和一个编码器来生成文本嵌入。SD具有三个独立的预训练模型。

使用**from_pretrained()方法加载所有这些组件。您可以在预训练[runwayml/stable-diffusion-v1-5](https://huggingface.co/runwayml/stable-diffusion-v1-5)**检查点中找到它们，每个组件都存储在单独的子文件夹中

from PIL import Image
import torch
最低0.47元/天 解锁文章
Stable Diffusion WebUI内存不够爆CUDA Out of memory怎么办？
满目星辰
09-11 1万+
在我们运行SD的时候，我们经常会爆CUDA Out of memory。我们应该怎么办呢？这是因为我们的显存或者内存不够了。如果你是用cpu来跑图的则表示内存不够，这个时候就需要换个大点的内存了。如果你是用gpu来跑图的就说明你显存不够用咯，这时候咋办呢？下面我将一一述说解决办法。请用心看完，别随便看看就不看了，否则你会丢失一个重大的宝藏。
Stable Diffusion低显存也能跑大图了，再也不用怕爆显存！
WANGJUNAIJIAO的博客
07-05 8317
Stable Diffusion（以下简称SD）是一款很强大的AI绘画软件，很多人都会拿SD和MJ（Midjourney）作对比，其中最重要的一点就是使用门槛上，SD需要最低也是4GB的显存，如果显存低了是没办法获得很好的体验的，最佳的配置是12-24GB 基本上所有的功能都能用。现在pkuliyi2015大佬开发了一个免费插件Tiled Diffusion（插件安装目录文件夹：extensions），可以大幅度减少SD生图所需的显存，其工作原理就是将一张图不同的块，通过连续生成图块，然后再合并成一张图，
Stable Diffusion WebUI 笔记本低显存无魔法本地安装使用（四）--- 安装和启动Stable Diffusion WebUI
smnzg的专栏
03-15 817
当然，不使用git也可以，可以从github上下载zip包，然后放到对应的地方安装和使用这边就不说了，说下如何提高下载稳定性主要的方法是查到github的相关的地址对应的ip，然后再hosts中维护。hosts文件所在路径：C:\Windows\System32\drivers\etc\
Stable Diffusion显存不足的优化方案：小白也能轻松解决的6个技巧
最新发布
cly10011的博客
02-21 2956
“生成一张图要等10分钟，显存炸了怎么办？今天这篇保姆级教程，手把手教你解决显存不足的问题，无需换显卡，低成本优化方案实测有效！显存不足的问题本质是资源分配不合理，通过调整参数、精简模型、借用云平台等手段，低配党也能流畅玩转SD！：你在用SD时遇到过哪些崩溃瞬间？通过代码设置半精度推理（FP16），显存占用可减少约30%。：关注博主并私信“SD优化”，免费领取秋叶整合包+高清修复参数模板！注意：此方法需一定代码基础，小白可直接用整合包的预设优化模式。
显存提醒插件，妈妈再也不用担心我的Stable Diffusion爆显存了
libaiup的博客
05-23 2007
大家在使用Stable Diffusion绘画的过程中，尤其是小显存用户，经常会出现眼睁睁的看着图就要出来了，突然眼前一黑。
妈妈再也不用担心我的Stable Diffusion爆显存了！SD显存提醒插件你值得拥有！
A1353192296的博客
10-21 1419
大家在使用Stable Diffusion绘画的过程中，尤其是小显存用户，经常会出现眼睁睁的看着图就要出来了，突然眼前一黑。然后图消失了，下面出现几行小字，大致意思是显存用光了。这就是所谓的爆显存。我们很难记得具体多少尺寸跑多少张图会爆显存，这种突如其来的“惊喜”，让很多AI绘画爱好者很无奈。
stable diffusion 的 GPU 不足怎么解决
m0_57448314的博客
03-27 3059
例如，可以使用近似算法或者采样技术来减少计算量，或者使用稀疏矩阵等数据结构来减少内存占用。4. 使用更高性能的GPU：如果GPU不足以处理大规模图像，可以考虑使用更高性能的GPU。例如，使用具有更多CUDA核心或更大显存的GPU。2. 并行计算：利用GPU的并行计算能力，可以将图像分成多个块，并同时在多个GPU核心上进行计算。5. 分布式计算：如果单个GPU无法满足需求，可以考虑使用多个GPU进行分布式计算。，可以减少GPU的计算负载。这可以通过缩小图像尺寸或者使用图像金字塔等技术来实现。
AI绘画Stable Diffusion整合包安装教程你值得拥有！我不允许你还不会！
A13531922961的博客
05-05 1334
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
stable-diffusion-webui RAM内存泄漏问题
weixin_43452189的博客
05-24 2031
在一些复杂的应用中，在代码路径的某些地方可能没有正确释放内存。webui在切换模型时，会先check内存中是否有加载过此模型，如果有则直接从内存中读取，没有就去磁盘中加载，并且判断已加载模型数量是否大于checkpoint_limit,不满足则会在下次切换其他模型时将此模型权重加载到内存中（send_to_cpu()）。一句话总结就是，webui在切换模型时，工程师偷懒了，并没有考虑在内存频繁读取和分配时做好垃圾回收和释放，导致重复向内存中写入模型权重，他们估计也发现了这个问题，怎么解决呢？
stable diffusion低显存
07-28
对于低显存的情况，可以尝试使用稳定的扩散（stable diffusion）方法来解决。稳定的扩散是一种用于图像处理的技术，旨在在保持图像质量的同时减少内存占用。 稳定的扩散方法通过平滑图像中的细节来减少显存使用量。...
【SD零基础教】Stable Diffusion显存不足如何解决？
2401_84815950的博客
02-14 1307
Stable Diffusion是一款功能强大的AI绘画工具，但其对显存的需求较高，这使得许多用户在使用过程中遇到了显存不足的问题。
stable-diffusion | v1-5-pruned.ckpt和v1-5-pruned-emaonly.ckpt的区别
ASKCOS博客
02-04 8187
对于日常生成，我们只要了解这样一个事实就行了：如果只是生成，EMA模型和标准模型的效果是一样的。如果你要做二次训练，并且显卡够好，选择带EMA的模型可能更好，因为所有数据都在；VAE模型：用于图像在像素空间和潜在空间的映射，生成图片时将图像从潜在空间转换为像素图片，目前大部分模型都自带VAE。标准模型：生成图片的核心模块，潜空间中的前向扩散和反向扩散就是通过它做的，对应到图中左侧的 U-Net。对于 1.5 模型，其中可能包括四部分：标准模型、文本编码器、VAE模型、EMA模型。
最新Stable Diffusion整合包安装，全新加速、解压即用、防爆显存三分钟入门
weixin_55154866的博客
06-27 952
Stable Diffusion出来已经很长一段时间了，网上其实已经有很多很多教程教如何安装了，但是由于网上太多的教程，也不知道哪个更好，且有的伙伴可能也是没找到合适的，也有的伙伴暂时还没找到。 在Stable Diffusion刚出来不久，我也尝试了多种安装方式，也有试过google colab、腾讯云一键安装脚本部署、以及网上的一些其他教程，总体来说，感觉还是秋叶大神的一键安装包更加适合小白一些。
3G显存也能跑Stable Diffussion了
jayecho的博客
05-09 1508
只要给定足够的提示词和反推提示词就行了。这是我找了civi上面的一些prompt随机生成的，感兴趣的小伙伴可以自己试试，如果自己的电脑配置可以，那生图效率会更高,分辨率也能更高！之前出了ubuntu的安装教程，想自己笔记本也试下，不得不说很辛酸，昨晚历时3个小时终于跑起来了，显卡都跑满了，但是效果很哇塞哈哈。欢迎大家关注本公众号(猫说AI)，公众号接入了chatgpt最新3.5模型，会持续分享更多免费教程！注意，如果你的机器Gpu内存跟我一样小于6G的话，建议安装xformers并且开启低内存模式。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5103
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
stable diffusion节省VRAM技巧
Yiming0108的博客
03-22 683
挖了一下ControlNet的代码，发现了他写了一个ddim_hacked.py和hack.py，对比发现ddim_hacked.py和ddim.py相比，只是把classifier-free guidance sampling中的unconditional和conditional的部分分开做了两次，而不是concat在一起过一次模型，然后chunk开了，刚开始没想明白这么做的意义，后来看到hack.py文件，明白了都是为了省显存。hack.py中用的了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值