Flux模型是当前使用频率非常高的模型,我们利用Flux可以生成更为优质的图片和内容,相比SD 1.5和SDXL 模型,Flux 更能理解提示词展现的内容。
项目官方站点如下:
https://github.com/black-forest-labs/flux
当前Flux版本主要有三个版本:
Flux Pro 版本 这里只能使用API功能,无法部署在本地
Flux Dev版本 用于本地部署的版本,但是产出的图片无法商用
Flux Schenell 版本 用于本地部署的版本创建图片,创建的图片可以商用,通常成图的步骤较短
当然这里需要注意的是,如果希望当前的ComfyUI能够支持Flux Dev或者Schnell 版本,我们必须更新当前的ComfyUI的 Manager 管理节点和工具,这里可以点击更新全部的按钮完成当前组件的全部更新。
Flux模型不同于传统的SD 1.5和SDXL模型,他采用Unet 发散模型,所以我们必须将模型保存在 Unet 目录下。下载模型的地址如下:
Flux Dev 模型:https://huggingface.co/black-forest-labs/FLUX.1-dev
Flux Schnell 模型:https://huggingface.co/black-forest-labs/FLUX.1-schnell
而Clip 模型采用双Clip模型,一个是标准的Clip模型,另外一个是T5的模型。这两个下载地址如下
Clip L :https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/clip_l.safetensors
T5 Clip:https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp8_e4m3fn.safetensors
在当前的生图过程的VAE中,我们选择Flux Dev配合的VAE 相对来说比较符合要求。我们需要放在VAE的目录中进行引用即可。
Flux VAE :https://huggingface.co/StableDiffusionVN/Flux/blob/main/Vae/flux_vae.safetensors
Flux模型通过加载相应的CheckPoint文件,同时使用了双Clip模型进行混合操作,最终生成需要的数据内容,需要注意的是这里要求比较多的步数才能够生成正常的文件,太少容易生成非常模糊的内容。