【AI绘画】一篇文章带你零基础玩转FLUX，最全面FLUX使用说明书，FLUX.1凭什么震惊世界？

最新推荐文章于 2024-09-26 10:44:19 发布

程序员超超

最新推荐文章于 2024-09-26 10:44:19 发布

阅读量751

点赞数 11

文章标签： AI作画 stable diffusion prompt 人工智能小程序

本文链接：https://blog.csdn.net/2401_85116933/article/details/142514966

版权

什么是 Flux？
三个版本的区别
模型下载
工作流入门
最小工作流
手动加载模型
完全控制
提示词与艺术风格
图生图
FluxGuidance 节点
ModelSamplingFlux 节点
实现艺术风格
提升细节
采样器和调度器的选择
如何优化提示词
ClipTextEncodeFlux 节点
条件平均与多重向量
总结

今天我们来聊聊最近最火的生图模型 Flux，文章底部也准备了一些亲测好用的FLUX模型和工作流，有需要的小伙伴可以按需自取。

这是杂谈系列最“技术”的内容之一，不过别担心，咱会从基础介绍开始，带你们一步步理解，并用 ComfyUI 实践，相信看完后，你们会对 Flux 模型有一个更深入的理解。

什么是 Flux？

Flux 是黑森林实验室 (Black Forest Labs[1]) 开发的全新生图模型，拥有 120 亿参数（对比 SD3 Medium 为 20 亿），分为三个版本：Pro、Dev 和 Schnell。

三个版本的区别

Pro：最强生图模型，但只能通过 API 来使用。可以对接 Replicate、fal AI 和 OpenArt 的接口，不在本文讨论范围。
Dev：限制了商业用途，也就是说，你不能用它生成的图像直接或间接赚钱。如果你用这个模型做了些训练或微调，那么生成的模型也会继承这个限制。
Schnell：这个单词在德语里是 “快” 的意思，就像 SDXL 生态下的 Turbo 模型。它用了一种叫对抗性扩散蒸馏的技术训练出来，质量虽然逊于 Pro 和 Dev，但它是唯一可以免费使用并商用的版本。

在这里插入图片描述

按黑森林的跑分图来看，就算是最弱的 Schnell 也比 Midjourney v6.0 得分高。

模型下载

不是每个人的电脑都是 4090 + 64G 起的性能猛兽，根据对电脑性能要求，我分为了入门版、进阶版和完整版，可以根据你的实际情况选择。

入门版

ComfyOrg 社区搞 “三合一” 模型，它能用我们最熟悉的 Load Checkpoint 节点来加载模型，而且文件更小，对内存要求也更低

flux1-schnell-fp8[2]: 17.2GB，放到 /models/checkpoints/ 文件夹下
flux1-dev-fp8[3]: 17.2GB，放到 /models/checkpoints/ 文件夹下

当然缺点是生成的效果会有所下降。适合入门玩或者懒得折腾嫌麻烦的人。

进阶版

如果你不想损失那么多性能，则需要下载 Kijai 大神的 fp8 版本，以 dev 为例：

CLIP[4]：246 MB，放到 /models/clip/ 文件夹
t5xxl_fp8[5]: 4.89GB，放到 /models/clip/ 文件夹
dev VAE[6]: 335MB，放到 /models/vae/ 文件夹
Kijai dev UNet[7]: 11.9GB，放到 /models/unet/ 文件夹

完整版

若你电脑性能足够高，建议你使用官方的 fp16 版本。以 dev 为例，你需要下载这些：

CLIP[8]：246 MB，放到 /models/clip/ 文件夹
t5xxl_fp16[9]: 9.79GB
dev VAE[10]: 335MB，放到 /models/vae/ 文件夹
官方 dev UNet[11]: 23.8GB，放到 /models/unet/ 文件夹

当然，我的电脑是带不动，佬友们自己尝试，下面的教程主要以进阶版本为例。

当然还有 GGUF 和 NF4v2 版本，它们都是在保证质量的同时消耗更少资源的模型，因为需要额外的 ComfyUI 节点，暂时先按下不表，想了解的可以评论踢我一下。

Dev 版本下载同理，更换对应的 VAE 和 UNet 即可；进阶版和完整版的 CLIP 是一样的，同型号的 VAE 也是一样的

工作流入门

在 ComfyUI 社区的努力下，使用 Flux 和 SD3 几乎是一样的，我分为三种不同的工作流，由浅入深的介绍一下，主要区别在于模型的加载。

最小工作流

如果你下载了入门版模型的话，在默认工作流的基础上只需选择对应模型，并将 cfg 改为 1 就算用上了。

需要注意的是 FLUX 不吃负面提示词，只是 KSampler 的负面提示词不能为空

手动加载模型

我已经是个大人了，至少也要手动加载模型，只有这样你才能用上进阶版和完整版，最简单的工作流如下：

其实和极简版是一样的，只是模型加载不同。这里我修改了种子，所以生成的图不一样。

完全控制和高级节点

还有一种很酷的搭建方式，用到了 SamplerCustomAdvanced 节点，生成的结果和 KSampler 完全一样，如下所示

这里还用到了两个 Flux 专用高级节点，先来有个概念：

FluxGuidance: 它决定模型在生成图像时，应该多大程度上严格按照你的提示走，后面会详细介绍。数值为 2+- 时会更有艺术感，3~3.5 适合大多数情况，大于 3.5 和小于 1 都容易毁图。
ModelSamplingFlux: 它控制模型在生成图像的过程的细节、风格以及整体感觉，后面会详细介绍。数值较低时更关注细节，较高时更专注整体。

除了在这种 Base 的工作流中，你也可以把这两个节点接入到我们熟悉的 KSampler 工作流中，效果是一样的.

写在最后

FLUX相关的模型、工作流以及全套的AI绘画学习资料已经给各位小伙伴打包好了，有需要的可以扫码自取，无偿分享。
在这里插入图片描述

在这里插入图片描述

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述