【模型介绍】FLUX模型，或许这几点你还未曾都了解

爱绘画的彤姐

已于 2024-12-29 19:51:19 修改

阅读量2.6k

点赞数 23

于 2024-10-12 10:06:23 首次发布

本文链接：https://blog.csdn.net/A2421417624/article/details/142870664

版权

当我们还在沉浸在惊叹和体验快手的Kolors模型之时，SD原开发团队组成的“黑森林”出的FLUX模型就袭来了。我们不得不感叹FLUX模型给我们带来的冲击，模型所绘制的画面质感、精细度的确让我们眼前一亮，之前发布的SD3开源模型给我们带来的些许失落感顿时烟消云散。因为FLUX的出现，填补了我们对SD3的些许失望。

接下来，我们借此文跟大家交流下这个近期备受追捧的开源绘画模型FLUX1.0。

模型介绍及下载存放

在我们使用FLUX开源模型之前，需要先将FLUX这个体系的相应生图模型相关的UNET、CLIP和VAE模块用到的模型做下载存放备用。

UNET

与我们之前文章中介绍的“模型体系生图所用的模块”中提到的三个模型模块一样，在FLUX的生图流程中，也需要调用到：UNET、CLIP和VAE这三个模块的模型。我们抛开只能通过API调用的Flux-pro版的不说，就跟大家聊聊本地部署的模型使用。

我们需要先下载好flux的主模型，这里我们主要介绍六种规格的模型供大家尝试，分别是：

● 满血版的flux1-dev.sft，23.8 GB（算力要求高，出图用时长）

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

● 快速出图版的flux1-schnell.sft，23.8 GB（4步即可出图，质感也只略逊色于满血版）

https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main

● fp8版的flux1-dev-fp8.safetensors，11.9GB（对显存要求不那么高的，建议16G以上，出图相对满血版的更快）

https://huggingface.co/Kijai/flux-fp8/tree/main

● 在Kijai大佬的这个剪枝版的下载链接中，还能下载到flux1-schnell-fp8.safetensors，这个模型，也是官方推出的快速出图版的剪枝模型，也是11.9G。

上述四种模型下载后存放在ComfyUI目录下：

ComfyUI\models\unet\FLUX

● 此外还有Comfy Org版dev模型:

https://huggingface.co/Comfy-Org/flux1-dev/tree/main

● Comfy Org版schnell模型：

https://huggingface.co/Comfy-Org/flux1-schnell/tree/main

其模型下载后，存放在ComfyUI\models\checkpoints目录中，被视为普通的基础模型来调用，它的模型里包含了clip和vae。

对于显存更小的（8G）同学，可以搜索“gguf”这个版本的FLUX模型，对显存算力的需求会更低一点，有兴趣的朋友可以自行尝试。

Flux-dev-gguf：https://huggingface.co/city96/FLUX.1-dev-gguf``GGUF节点存储库：https://github.com/city96/ComfyUI-GGUF

CLIP

将用于CLIP加载器所要调用的模型下载后存放在目录：

ComfyUI\models\clip

下载地址：

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

VAE

至于FLUX模型，其生态用到的VAE模型ae.sft: 335 MB，下载地址，在官方主模型下载链接中也提供了下载，下载后存放路径为：

ComfyUI\models\vae

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

FLUX工作流使用要点

FLUX模型，取消了反向提示词的输入，在搭建工作流的时候有需要用到也只需加一个空的文本编辑器节点就好。

此外，CFG值也默认都为1.0即可，如果用到了K采样节点搭建工作流时。

加载器的选择

在FLUX的工作流中使用满血版或半血版，区别在于模型的选择和CLIP加载器的选择，如果你的ComfyUI中没有相应的可选想或节点，那么大概率是你需要更新你的ComfyUI本体了。

半血版，则是将主模型改为fp8的，权重类型为fp8的，clip1也改为fp8的t5模型，出图快，效果不会逊色多少于满血版的。

满血版，则是将主模型改为dev的，权重类型为默认的，clip1改为fp16的t5模型。

引导值

这个引导值（guidance），大家可能不太注意，这个值对于画面画风是有影响的。也就是模型的艺术表现力方面，默认3.5即可；值越小则艺术感越强，用于风格非写实时用（参考值1.5~2）；值越大，则细节越多，出现更锐化清晰些（参考值4.5）。大家在不同画风绘制的时候可以加以尝试，锁定种子值后，调整这个值，自行体验。