【FLUX连载15】Forge全面支持FLUX使用，AI绘画未来已来

最新推荐文章于 2025-03-25 11:38:55 发布

AIGC小王

最新推荐文章于 2025-03-25 11:38:55 发布

阅读量1.9k

点赞数 20

文章标签： AI作画人工智能 AIGC stable diffusion 人工智能作画 flux midjourney

本文链接：https://blog.csdn.net/text2201/article/details/142917955

版权

在数字艺术和创意领域，FLUX以其独特的虚实结合技术，已经成为艺术家和设计师们手中的利器。今天，我们激动地宣布，FLUX与Forge的全面合作，为AI绘画的未来开启了新的篇章。

Forge是一款深受艺术家喜爱的3D建模和渲染软件，而FLUX则是一款创新的AI绘画工具。这次合作，使得Forge全面支持FLUX的使用，为艺术家们提供了更多的创作灵感和可能性。

通过FLUX与Forge的结合，艺术家们可以更加轻松地创作出具有高度艺术性和创新性的作品。FLUX的AI绘画功能可以帮助艺术家们快速地生成丰富的纹理和细节，而Forge的3D建模和渲染功能则可以为这些作品提供更加真实和生动的视觉效果。

这次合作的推出，不仅提升了FLUX的性能和功能，还为艺术家们提供了更多的创作灵感和可能性。无论是3D建模还是AI绘画，FLUX与Forge的结合都为艺术家们提供了一个全新的创作平台，使得他们可以更加自由地表达自己的创意和想法。

FLUX与Forge的全面合作，只是FLUX创新旅程的一部分。未来，我们将继续探索和突破，为数字艺术和创意领域带来更多的惊喜和变革。让我们一起期待，这个充满无限可能的FLUX新纪元！

在这里插入图片描述

flux1-dev-bnb-nf4-v2.safetensors 使用 NF4 中的主要模型进行完整的 flux-dev 大模型，第1个下载模型。
flux1-dev-fp8.safetensors 使用 FP8 中的主要模型进行完整的 flux-dev 大模型，第2个下载模型。
2个大模型拷贝在"根目录\webui\models\Stable-diffusion"即可完成模型安装。
接下来WebUI Forge和WebUI的操作类似，分成3大模块，设置模型（红色区域），设置提示词（蓝色区域），设置参数（绿色区域）。

在这里插入图片描述

设置模型

点击 run.bat 启动程序（启动阶段关闭魔法）。WebUI Forge 现在有 sd/xl/flux/all 4 种 UI 界面可选，适用于不同种类的模型。

左上角UI位置，选择模型大类为Flux

Checkpoint位置，选择Flux大模型
如果您的设备是 RTX 3XXX/4XXX GPU 的 GPU，支持 CUDA 11.7 以上版本，那么建议使用 NF4，速度和出图效果质量都不错。您只需下载flux1-dev-bnb-nf4.safetensors。
如果您的设备是 GTX 10XX/20XX 的 GPU，那么您的设备可能不支持 NF4，您只需下载flux1-dev-fp8.safetensors。

VAE / Text Encoder位置，选择VAE和CLIP模型。

此处留空，因为我们使用的两种大模型（flux1-dev-bnb-nf4，flux1-dev-fp8）都已内置VAE和CLIP模型，无需选择。

Diffusion in Low Bits位置，选择Flux模型种类/精度
在大多数情况下，您只需将其设置为自动Automatic，然后它将使用您下载的大模型自动匹配模型种类/模型精度。
务必不要加载FLUX大模型**flux1-dev-fp8.safetensors****时使用 NF4 选项！**如果这样做，虽然您最终获得没有错误的图像。但是您首先浪费 30 秒将模型反量化为 fp16，然后再浪费 60 秒将其再次量化为 NF4模型flux1-dev-bnb-nf4.safetensors。因为模型被量化了两次，虽然不会报错，但最后输出图片质量也会下降。

在这里插入图片描述

模型设置完毕界面如图所示，后面三个内存交换可以忽略不设置。

内存交换（非必须可跳过）

**核心：**当你模型较大内存较小时，通过交换技术让你即使小内存也能使用体积较大的模型，方便硬件配置一般的用户。

**选项：**3个可设置，交接方法，交换位置，GPU内存权重大小。

交换位置

让我们以 FP8 模型为例，大小为12GB。

在这里插入图片描述

假设你的电脑，拥有16GB 专有GPU内存，16GB 共享GPU内存，32GB内存

在这里插入图片描述

然后你想把模型移到 GPU。模型文件大小是 12GB，假如你的GPU 内存只有8GB 大。那怎么办？答案是将模型分成两部分。一部分到 GPU，另一部分到“交换”位置。
如果您选择 CPU 作为交换位置，您的模型将加载到内存和专有GPU内存，这里界面写的是CPU我觉得写内存会更好。温馨提醒：推荐较差显卡用户使用此“CPU”交换方案，这些显卡显存较少在使用“共享”交换时会崩溃。

在这里插入图片描述

如果您选择“共享”作为交换位置，您的模型将加载到专有GPU内存+共享GPU内存，温馨提醒推荐比较新的显卡使用“共享”交换方案，速度比“CPU”交换快约 15%。

在这里插入图片描述

以下是A4000-16G显存设置后的结果，专有内存被大幅使用，提高出图速度。

在这里插入图片描述

GPU内存权重大小

您可以选择较大的GPU内存权重大小数值将模型加载到 GPU。一般设置数值为GPU专用内存的80%即可。比如我的专有GPU内存是16GB，就约等于16*1024=16384MB，设置13107MB即可。

GPU 权重越大情况，速度越快。但如果值太大，就会出现一些 GPU 问题，速度会降低 10 倍左右。

**GPU 权重越小，**速度越慢。但由于现在有更多可用闲置显存，因此您可以扩散更大的图像。

在这里插入图片描述

交换方法

交换方式分两种

队列Queue：您将第一层加载到 GPU，然后计算，然后加载另一层，然后计算，就像它是一个队列一样。

并列Async：您将有两个工作器。一个工作器始终计算图层。一个工作器始终将图层加载到 GPU。它们同时工作。

实验测试ASYNC方法比Queue快 30% 。但是该方法有一个缺点，即一个工作器可能会错误地将太多层移动到 GPU，导致另一个工作器没有足够的 GPU 内存进行计算。在这种情况下速度会突然慢 10 倍。

根据以上信息，您现在可以为您的设备调整最佳模型配置：

在这里插入图片描述

如果使用交换内存的时候系统发生崩溃，请打开系统的虚拟内存

在这里插入图片描述

设置提示词

有两个参数需要提前设置
建议设置 CFG=1，无需输入负面提示词，设置完毕后负面提示词输入框将变灰
因为Flux-dev 是Flux-pro蒸馏得到模型。所以建议设置参数 “蒸馏 CFG 指导Distilled CFG Scale”。默认值为 3.5。

在这里插入图片描述

Astronaut in a jungle, cold color palette, muted colors, very detailed, sharp focus

在这里插入图片描述

设置参数

按照如下设置设置参数即可。

Steps: 30, Sampler: Euler, Schedule type: Simple, CFG scale: 1, Distilled CFG Scale: 3.5, Seed: -1, Batch size: 4, Size: 896x1152, Model: flux1-dev-bnb-nf4-v2

如果电脑硬件配置一般，步数设置20即可，批量数量设置为1。

在这里插入图片描述