深度干货 | 首发最强文生图开源模型FLUX.1本地ComfyUI部署教程重磅来袭

前字节AI绘画师

于 2025-03-04 14:15:00 发布

阅读量1.1k

点赞数 25

分类专栏： AIGC AI教程 Comfyui教程文章标签：人工智能 ComfyUI AI绘画 AI作画 comfyui工作流 flux 模型

本文链接：https://blog.csdn.net/m0_71745754/article/details/146006774

版权

Comfyui教程同时被 3 个专栏收录

292 篇文章

订阅专栏

AIGC

276 篇文章

订阅专栏

AI教程

216 篇文章

订阅专栏

自从SD3母公司StablityAI持续的负面消息以来，SD开源社区的朋友们对SD3的前景普遍是持有一种悲观的态度的。

直到24年8月一条重磅新闻来袭，直接将SD社区对未来开源文生图生态的热情再次点燃！前Stability AI 核心成员 Robin Rombach 创立了一个名为Black Forest Labs的新公司，并获取了3200万美元的融资，并开源了 FLUX.1系列模型。

模型简介

FLUX.1 文本到图像模型套件，它在图像细节、及时性、风格多样性和场景复杂性方面为文本到图像合成定义了新的先进技术。为了在易用性和模型功能之间取得平衡，FLUX.1 有三个版本：FLUX.1 [pro]、FLUX.1 [dev] 和 FLUX.1 [schnell]：

FLUX.1 [pro]：FLUX.1 的精华，提供最先进的图像生成性能，具有顶级的提示跟踪、视觉质量、图像细节和输出多样性。请在此处通过我们的 API 注册 FLUX.1 [pro] 访问权限。FLUX.1 [pro] 也可通过 Replicate 和 fal.ai 获取。
FLUX.1 [dev]：FLUX.1 [dev]是一个面向非商业应用的开放式、经过指导的精炼模型。FLUX.1 [dev]直接从FLUX.1[pro]蒸馏而来，具有相似的质量和及时坚持的能力，同时比相同大小的标准模型更有效。FLUX.1 [dev] 模型权重可在 HuggingFace 上获得，也可直接在 Replicate 或 Fal.ai 上试用。
FLUX.1 [schnell]：我们为本地开发和个人使用量身定制的最快模式。FLUX.1 [schnell] 在 Apache2.0 许可下公开发布。类似的 FLUX.1 [dev] 权重可在 Hugging Face 上找到，推理代码可在 GitHub 和 HuggingFace 的 Diffusers 中找到。我们很高兴能在第一天就与 ComfyUI 集成。

模型架构

FLUX.1 系列模型是由Transformer架构驱动的规模化流模型。所有公开的 FLUX.1 模型都基于多模态和并行扩散Transformer模块的混合架构，并扩展到 12B 参数。流匹配(flow matching)是一种用于训练生成模型的通用且概念简单的方法，其中扩散模型是一个特例。

此外，还通过加入旋转位置嵌入(rotary positional embeddings)和并行注意力层，提高了模型性能并改善了硬件效率，未来将来发布更详细的技术报告。

很明显FLUX.1 和目前的SD3，auraflow系列一样都是采用了最新的DIT架构，我之前在SD社区的几个微信群就发表过以下意见：

相比于SDXL如果DIT架构的模型参数上不去的话，很难在出图质量上拉开与SDXL的差距，虽然我们都知道堆参数并非是一个最优的选择，但是对于DIT架构而已，如果参数量低，相较于生态非常成熟的SDXL并没有明显优势。

主流文生图模型ELO评分对比

质量评估

FLUX.1 [pro] 和 [dev] 在以下每个方面都超越了流行的模型，如 Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra：视觉质量、提示响应度（即模型对输入提示的准确理解和执行能力）、尺寸/宽高比可变性、排版和输出多样性。

FLUX.1 [schnell] 是迄今为止最先进的少步骤模型 (few-step model)，不仅超越了同类竞争对手，还超越了强大的非压缩模型（如 Midjourney v6.0 和 DALL·E 3 (HD)）

所有 FLUX.1 型号都支持不同的长宽比和分辨率（10 万和 200 万像素），如下图所示：

测试使用

优点：完全免费，替代SD3糟糕人体解剖学！

项目地址：

https://github.com/black-forest-labs/flux?tab=readme-ov-file

免费在线使用地址1：

https://huggingface.co/spaces/black-forest-labs/FLUX.1-schnell

免费在线使用地址2：

https://replicate.com/collections/flux

模型样图

下面是我本人和一些社区发烧友发布的[pro] 和 [dev]测试样图：

先上效果最好的Pro model

然后是开源的dev model

Comfyui 本地部署教程

重头戏来了！如果你有一张16G以上显存的显卡，那么恭喜你可以在本地使用量化的方式，来部署dev或者schnell模型。以下为使用Comfyui本地部署的详细教程。文章中涉及到的模型，我已经全部上传到百度网盘，下载链接在文章最后，大家可以下载配合本文一起使用。

1.模型下载

如果要在本地进行部署，你需要首先下载dev或者schnell的模型权重，huggingface模型下载链接为：

https://huggingface.co/black-forest-labs/FLUX.1-dev

不方便访问HF的用户，文末可获取哦~

FLUX.1-schnell

schnell模型的文末，我已经上传并将其他模型一并打包放在了本文的最后，大家可以去获取。

小显存用户可以直接下载这个FP8量化后的模型，大小为11G，12G的显存的小卡可以尝试看看，我没有12G的卡就没办法测试了

https://huggingface.co/Kijai/flux-fp8/tree/main

2.Clip模型

FLUX系列模型使用的Clip模型是和SD3系列一模一样的t5xxlfp16.safetensors 和 clipl.safetensors，如果你之前已经下载了这两个模型可以直接放到以下Comfyui路径内：

ComfyUI/models/clip/

如果你没有这两个模型权重，下载链接为：

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

注意，本链接中提供了t5xxl的FP16和FP8两种精度供选择，你可以根据自己本地电脑的硬件配置选择下载一个就可以，然后和Clip_l一起放入ComfyUI/models/clip/文件夹内即可。

3.VAE模型

注意，FLUX系列模型使用的重新训练的VAE，需要单独下载，下载链接为：

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.sft

下载之后将VAE模型放入ComfyUI/models/vae/路径下即可。

4.更新最新版Comfyui内核版本

打开Comfyui启动器，如果你是原版Comfyui可以直接启动更新脚本，将内核版本升到最新版本。

5.载入工作流

基础工作流下载：

将基础工作流json文件拖入Comfyui页面内。

6.对比测试

我们首先测试一下dev模型，unet选择加载flux1-dev.sft

这里注意要在Unet加载器的weightdtype中选择fp8量化，两种量化方式可以都测试看看，区别不大。但是如果你不选择量化，哪怕是24G的4090也会爆显存。

量化加载模型权重

在Clip加载器中需要加载两个Clip模型：t5xxl和 clipl其中t5xxl可以选择t5xxlfp16.safetensors 和 t5xxlfp8.safetensors两种不同的精度选择其中一个即可。

在VAE中加载我们刚刚下载好的ae.sft

然后输入提示词即可，我这里给出我测试用的提示词，大家可以自己去修改。

注意这里采样器和调度器，选择默认的eular和normal，我测试SDE系列和karras无法正常出图。

测试：Prompt: A cyberpunk machine generating endless of popcorn and blowing themup into the air. Realistic National geographic photo,from afar,epic,the letters"FLUX"is on the machine as a logo.

然后点击运行就可以了！第一次运行加载超大模型还有量化，因此速度比较慢，我本地是双卡4090，整个加载过程都要耗费很长的一段时间，只要后台没有报错的话，就没有问题。下面是使用dev-model生成的图片。

然后再测试一下schnell模型，unet选择加载flux1-schnell.sft，其他不变。

注意因为schnell是一个4steps的快速模型，因此采样器中的步数直接设为4，采样器仍然是euler，调度器simple

测试：Prompt: 3 magical wizards stand on a yellow tableOn the left, a wizard in black robes holds a sign thatsays 'FLUX’In the middle, a witch in red robes holds a sign thatsays 'is’and on the right, a wizard in blue robes holds a signthat says 'cool’Behind them a purple dragon