AI绘画SDWebUI-Foge运行最强开源 Flux1.0大模型，低显存设备也能跑！让你轻松制作高质量图片！

最新推荐文章于 2024-09-19 15:24:53 发布

程序员晓晓

最新推荐文章于 2024-09-19 15:24:53 发布

阅读量855

点赞数 18

文章标签： AI作画 stable diffusion AIGC SD绘画 Forge SD教程 Flux

本文链接：https://blog.csdn.net/cxyxx12/article/details/141855606

版权

大家好！我是程序员晓晓

最近AI绘画开源社区又开始发力了，lllyasviel（敏神）——ControlNet的作者刚才发布了一款Flux1-dev-bnb-nf4-v2模型，这个版本最大的优势就是能让低显存的设备也能运行，这个低到底有多低呢？

实测下来3070ti笔记本（8G VRAM）在跑NF4-V2模型每次迭代只需要2.15秒（这只是该笔记本计算的时间，并不代表所有8GVRAM都是这个时间，其他硬件设备不同计算结果也不一致）。

接下来，我们用秋叶大佬的绘世启动器StableDiffusion实现打开SDwebui-Foge。

绘世，启动！

模型作者说明：如果您的设备支持 CUDA 11.7 以上版本，那么您可以使用 NF4。（大多数 RTX 3XXX/4XXX GPU 都支持此功能。）如果您的设备是 GTX 10XX/20XX 的 GPU，那么您的设备可能不支持 NF4，请用flux1-dev-fp8模型

打开绘世启动器：

导航栏选择版本管理模块默认进入内核页面；
点击切换分支按钮；
下拉菜单选择stable-diffusion-webui-forge版本；
点击切换分支，这里会弹出一个提示，让你备份重要文件，点击确定就好。

tips：由于每台设备所安装的环境不一样，建议先备份一版再切换。

切换后跳出这个弹窗说明切换成功，并不是已经安装成功，后面一键启动还要下载依赖。

选择扩展页面，禁用不必要的插件（第一次启动建议全部取消），因为很多插件和forge并不兼容；

好，这些步骤执行完之后重启启动器，再点击一键启动，开始下载forge的依赖已经安装部分插件，这一步通常会出现两种错误，一种错误是网络连接问题（也就是需要魔法，因为需要到抱抱脸拉取依赖），还有一种错误就是前面提到的插件兼容问题，如果看到插件问题，就需要返回前面的步骤警用相关的插件。

一切就绪后，即可打开webui-forge版本

我们需要把UI模板切换成Flux模式，所有的参数都会调整成Flux预设，根据模型版本的不同可以自行手动调整。

参数说明：

Diffusion with Low Bits：模型的量化格式，一般情况下选自动就行，这次用的模型是flux1-dev-bnb-nf4-v2，所以可以选nf4。

Swap Method：Queue/Async：队列加载计算/并行加载计算

Swap Location：CPU/Shared：根据设备CPU内存和GPU显存选择一种模式，当CPU内存高于GPU显存那就选择CPU，当GPU显存高于CPU内存就选择GPU。这里的原理就是把一个存储容量高于你显存的模型分为两半，一半给GPU一半给共享内存。

通俗地说就是哪种内存大选哪种。

模型下拉菜单选择加载flux1-dev-bnb-nf4-v2模型，调节相关参数即可开启你的创作之旅啦！如果还是不太懂这些参数有啥用，让它默认即可（虽然本文已经提了）。

tips：注意，这次的flux1-dev-bnb-nf4-v2模型是放到stable diffusion目录下，并不是放到unet目录下，模型链接在网盘，需要的小伙伴可以看文末扫描免费获取哦

示例图

常见的报错

RuntimeError: The expanded size of the tensor (1) must match the existing size (64) at non-singleton dimension 0. Target sizes: [1, 256, 256]. Tensor sizes: [64, 256, 256]``The expanded size of the tensor (1) must match the existing size (64) at non-singleton dimension 0. Target sizes: [1, 256, 256]. Tensor sizes: [64, 256, 256]

报错的主要原因是张量（tensor）的维度不匹配。

解决方法：关闭xFormers

绘世启动器>高级选项>交叉注意力优化方案之类选择非xFormers，我选的是缩放点积。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述