ComfyUI教程:FLUX模型全解析与快速上手

大家好我是AIGC阿道夫

前言

随着生成式AI技术的快速发展,Flux模型正以其卓越的生成质量和多风格支持,成为开源图像生成领域的焦点。相比传统模型,Flux能一站式满足多种风格需求,节省了创作者的切换成本和时间。本文将深入解析Flux模型的强大功能,提供模型的下载与部署指导,并揭示关键参数的调节建议,助你更轻松快速地掌握这一最新的创作利器。

本文介绍了在ComfyUI环境中对Flux模型的应用,其中模型适用于其他GUI平台。

所有的AI设计工具,安装包、模型和插件,都已经整理好了,👇获取~

请添加图片描述

一、FLUX 是什么?


FLUX是由前 Stability AI 核心员工团队创立的黑森林实验室(Black Forest Labs)于 2024 年 8 月 1 日发布的一款开源图像生成模型,其效果可与 Midjourney V6 和 SD3 相媲美。

FLUX 模型一共有三个版本:

  • Pro版:闭源模型,性能最强,仅支持API,普通用户涉及不到。

  • Dev版:开源模型,性能也很强,显存占用大(我用的RTX4070TI可以驾驭)。

  • Schnell版:开源模型,画面的细节处理略有降低,但生成速度有提升,4-8步采样即可。

二、FLUX 的特点与优点

当前最佳开源图像生成模型:Flux模型在开源图像生成模型中表现出色,特别是在高质量图像生成和多风格适应方面处于领先地位。

  • 参数大,多风格支持:Flux拥有约120亿参数,具备丰富的细节生成能力,对复杂提示词的理解能力也更强。


  • 手部和字体效果优化:相较于许多图像生成模型,Flux对手部细节的生成较为精细,且对英文字体有很好的支持(暂不支持中文字体)。


  • 分辨率设置灵活:Flux支持灵活的分辨率设置,但由于其模型规模较大,运行时需要较高的GPU VRAM,特别是生成高分辨率图像时。


  • 无需负面提示词:此模型在生成过程中无需添加负面提示词即可生成高质量图像,因而提示词编写更为简便。





三、FLUX 模型本地部署 (ComfyUI)


由于黑森林发布的原版模型为bf16格式,文件大,资源占用高,生成速度慢。因此,社区开发了多种优化版模型,成图质量略有下降,但大幅降低了资源占用,并显著提升了生成速度。

Flux模型在完整部署时需要三类专用模型:Flux 模型、CLIP模型、VAE模型,但个别优化板模型将三种模型做了集成,接下来逐一介绍,下载链接见文章结尾附录。

1. FLUX 模型

黑森林原版模型

黑森林原版FLUX模型需要分别安装Flux模型、CLIP模型、VAE模型

  • black-forest-labs丨Flux.1-pro:性能最强,闭源,仅API。

  • black-forest-labs丨Flux.1-dev:性能较好,开源,非商业许可,实测RTX4070Ti可以驾驭,20步。

  • black-forest-labs丨Flux.1-schnell:开源,效果换速度,Apache2.0商用,4-8步。

FLUX 模型存放路径:ComfyUI\models\unet\

优化模型 - Kijai

Kijai版FLUX模型需要分别安装FLUX模型、CLIP模型、VAE模型

  • Kijai/flux1-dev-fp8:生成图像与原版接近,显存占用更低,速度更快,效果比原版略有降低。

  • Kijai/flux1-schnell-fp8:生成图像与原版接近,显存占用更低,速度更快,效果略逊色于dev版模型。

Kijai - FLUX模型存放路径:ComfyUI\models\unet\

优化模型 - GGUF

GGUF版FLUX模型需要分别安装FLUX模型、CLIP模型、VAE模型

  • FLUX.1-dev-gguf:显存占用更低,速度更快,优秀的提示语理解能力,效果比原版略有降低。

GGUF版FLUX有很多版本可以选择,对应不同的显存要求,例如Q4要求6GB显存,Q5要求8GB显存。作者建议使用Q5_K_M及以上的模型。

GGUF - FLUX模型存放路径:ComfyUI\models\unet\

Comfy Org 模型

Comfyorg版本的FLUX是个三合一模型,集成了Kijai版Flux模型、CLIP模型、AVE模型。因此工作流使用的节点也有区别。

  • Comfy-Org-flux1-dev:实测速度最快,效果表现也最弱,工作流搭建最简单。

  • Comfy-Org-flux1-schnell:同上

Comfy Org - FLUX模型存放位置:ComfyUI\models\checkpoints\

2. CLIP 模型

clip_l模型必选,t5xxl模型根据显卡情况选其一。

  • clip_l.safetensors

  • t5xxl_fp16.safetensors:显存>32GB可选

  • t5xxl_fp8_e4m3fn.safetensors

  • t5-v1_1-xxl-encoder-gguf(搭配GGUF版FLUX模型使用)

CLIP模型存放路径:ComfyUI\models\clip\

3. VAE模型

  • flux_ave.safetensors

VAE模型存放路径:ComfyUI\models\vae\

4. 模型效果对比

提示语:

masterpiece, 18-year-old Asina girl, solo, close-up, blue hat, wearing a white dress, beautiful eyes, cloused mouth, heart of the ocean crystal necklace, gold-rimmed glasses, looking at the viewer, holding a big “FLUX”, smiling,sitting outside a coffee shop, upper body, vibrant, a giant teddy bear behind her, highty detailed,

以上测试仅FLUX模型不同,提示语和参数设置均相同,由结果得出:

  • 优化版FLUX模型与原版模型的生成结果存在差异

  • Kijai版FLUX模型与原版的生成图像最接近

  • GGUF版FLUX模型的生成图像对提示词的遵循最好

  • Comfy Org版FLUX模型的生成速度最快,但效果最差

四、FLUX 工作流


FLUX - 标准工作流

需要分别独立加载 Checkpoit、VAE、CLIP。

FLUX - GGUF 模型工作流

GGUF模型需要专用节点来加载:ComfyUI-GGUF

FLUX - Comfy Org 三合一模型工作流

使用 ComfyUI 默认工作流即可。

五、关键参数建议

Guidance

  • 值=1,效果粗糙,细节差,颜色暗淡,视觉表现较为抽象。

  • 值=2,画面偏灰,饱和度和对比度略低,光影及立体效果偏弱。

  • 值=3,图像较为自然,细节丰富,饱和度、对比度、光影及景深等表现自然。

  • 值>4,饱和度、对比度等效果明显增强,甚至是过度增强;细节有所精简,更突出主体。总体效果对比guidance值为3~4没有明显提升,某些案例还出现了失真现象。

通常将guidance值设置为3~4即可满足大多数需求;若需要画面简洁且突出主体,可以尝试guidance值>4;而生成抽象或古怪风格的作品时,可尝试将guidance值调低至1。

CFG

如效果所示,保持CFG值为1即可。

Sampler(采样器) 与 Scheduler(去噪表)

由测试结果得出的推荐组合:

  • euler + simple

  • uni_pc + beta

  • ipdmn + beta

其他看似不错的生成图像,均有细微瑕疵。

总结


FLUX模型凭借卓越的生成能力成为当前最佳的开源图像生成模型,对比SD1.5、SDXL等早期模型具备显著优势,吸引了大量社区关注,助力其生态快速发展。ControlNet、IP-Adapter等控制插件的支持逐渐完善,应用潜力不断增强。后续文章中将分享更多FLUX生态的进阶应用,希望本文对你有所帮助。

附录


我整理了网盘下载资源,留言获取提取码。诚请转赞支持,让更多学习爱好者看到。

模型下载:

  • FLUX模型:https://pan.baidu.com/s/1uK2xS3OiJi9YL9vWFroKDA

  • CLIP模型:https://pan.baidu.com/s/1SYRm5hbaE7vGCs10zfjSUg

  • VAE模型:https://pan.baidu.com/s/1udQb5c8G3HKCgzeIWbwQ7g

模型安装路径:

  • Flux模型(原版、Kijai、GGUF):ComfyUI\models\unet\

  • Flux模型(Comfy Org):ComfyUI\models\checkpoints\

  • CLIP模型:ComfyUI\models\clip\

  • VAE模型:ComfyUI\models\vae\

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

请添加图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img请添加图片描述

### 关于 YuE 和 ComfyUI 的使用教程 #### 什么是 ComfyUIComfyUI 是一款基于 Stable Diffusion 的图形化界面工具,允许用户通过拖拽节点的方式构建复杂的工作流。它提供了高度灵活的功能设计,能够满足从初学者到高级用户的多样化需求[^1]。 #### 如何获取 ComfyUI 基础教程? 一套完整的 ComfyUI 教程已被开发出来,涵盖了从入门到精通的内容。该系列共有六篇文章,分别讲解了以下几个方面: - **选择理由**:为什么应该学习和使用 ComfyUI。 - **优缺点分析**:面评估这款软件的优势不足之处。 - **安装指南**:如何下载并配置 ComfyUI 运行环境。 - **模型插件管理**:详细介绍各种模型和插件的安装流程。 - **工作流解析**:深入探讨节点功能及其背后的运行机制。 - **特定模块教学**:例如遮罩修改重绘(Inpainting)以及 SDXL 工作流的实际操作案例。 对于希望快速上手的朋友来说,可以尝试按照官方文档或者社区分享的经验来进行设置。如果需要扩展更多自定义特性,则可以通过第三方资源库完成进一步定制。比如有这样一个项目专门针对某些增强型组件进行了封装——只需执行如下命令即可将其集成至现有环境中: ```bash cd ComfyUI/custom_nodes git clone https://github.com/CY-CHENYUE/ComfyUI-Janus-Pro ``` 上述脚本会自动拉取最新版本并将文件放置在指定目录下以便后续调用[^2]。 #### 插件的具体应用实例 以 `ComfyUI-Manager` 为例说明标准流程中的每一步骤是如何实现的。假设当前使用的并非预打包好的发行版而是纯净原始状态下的框架结构时,那么就需要手动添加必要的依赖项才能正常使用部特性[^3]。 另外值得注意的是,在实际创作过程中合理利用现成模板往往能事半功倍。例如借助他人贡献出来的高质量预制方案(如 FLUX.1-dev-gguf),即使硬件条件有限也能获得不错的效果展示机会[^4]。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值