SDWebUI-Foge运行Flux1.0-DevNF4模型，低显存设备也能跑！

Hello，大家好！0lllyasviel（敏神）ControlNet的作者刚才发布了一款flux1-dev-bnb-nf4-v2模型，这个版本最大的优势就是能让低显存的设备也能运行，这个低到底有多低呢？实测下来3070ti笔记本（8G VRAM）在跑NF4-V2模型每次迭代只需要2.15秒（这只是该笔记本计算的时间，并不代表所有8GVRAM都是这个时间，其他硬件设备不同计算结果也不一致）。

技术小知识：bnb.matmul_4bit：这个方法是bitsandbytes库中的一个函数，用于在深度学习模型中执行优化的4-bit矩阵乘法（matmul）。与传统的浮点数矩阵乘法（如torch.nn.functional.linear）相比，bnb的4-bit矩阵乘法能够利用低位精度和特定的CUDA优化技巧，加速计算过程。

接下来，我们用秋叶大佬的绘世启动器实现打开SDwebui-Foge。

绘世，启动！

---

模型作者说明：如果您的设备支持 CUDA 11.7 以上版本，那么您可以使用 NF4。（大多数 RTX 3XXX/4XXX GPU 都支持此功能。）如果您的设备是 GTX 10XX/20XX 的 GPU，那么您的设备可能不支持 NF4，请用flux1-dev-fp8模型

打开绘世启动器：

1. 导航栏选择版本管理模块默认进入内核页面；

2. 点击切换分支按钮；

3. 下拉菜单选择stable-diffusion-webui-forge版本；

4. 点击切换分支，这里会弹出一个提示，让你备份重要文件，点击确定就好。

tips：由于每台设备所安装的环境不一样，建议先备份一版再切换。

切换后跳出这个弹窗说明切换成功，并不是已经安装成功，后面一键启动还要下载依赖。

选择扩展页面，禁用不必要的插件（第一次启动建议全部取消），因为很多插件和forge并不兼容；

好，这些步骤执行完之后重启启动器，再点击一键启动，开始下载forge的依赖已经安装部分插件，这一步通常会出现两种错误，一种错误是网络连接问题（也就是需要魔法，因为需要到抱抱脸拉取依赖），还有一种错误就是前面提到的插件兼容问题，如果看到插件问题，就需要返回前面的步骤警用相关的插件。

一切就绪后，即可打开webui-forge版本

我们需要把UI模板切换成Flux模式，所有的参数都会调整成Flux预设，根据模型版本的不同可以自行手动调整。

参数说明：

Diffusion with Low Bits：模型的量化格式，一般情况下选自动就行，这次用的模型是flux1-dev-bnb-nf4-v2，所以可以选nf4。

Swap Method：Queue/Async：队列加载计算/并行加载计算

Swap Location：CPU/Shared：根据设备CPU内存和GPU显存选择一种模式，当CPU内存高于GPU显存那就选择CPU，当GPU显存高于CPU内存就选择GPU。这里的原理就是把一个存储容量高于你显存的模型分为两半，一半给GPU一半给共享内存。

通俗地说就是哪种内存大选哪种。

模型下拉菜单选择加载flux1-dev-bnb-nf4-v2模型，调节相关参数即可开启你的创作之旅啦！如果还是不太懂这些参数有啥用，让它默认即可（虽然本文已经提了）。

tips：注意，这次的flux1-dev-bnb-nf4-v2模型是放到stable diffusion目录下，并不是放到unet目录下，模型链接在网盘，网盘地址在文尾。

示例图

---

常见的报错

---

RuntimeError: The expanded size of the tensor (1) must match the existing size (64) at non-singleton dimension 0. Target sizes: [1, 256, 256]. Tensor sizes: [64, 256, 256]``The expanded size of the tensor (1) must match the existing size (64) at non-singleton dimension 0. Target sizes: [1, 256, 256]. Tensor sizes: [64, 256, 256]

报错的主要原因是张量（tensor）的维度不匹配。

解决方法：关闭xFormers

绘世启动器>高级选项>交叉注意力优化方案之类选择非xFormers，我选的是缩放点积。

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！