ComfyUI官方资料
基础工作流使用说明:Introduction - ComfyUI
所有模型,特色功能:https://github.com/comfyanonymous/ComfyUI?tab=readme-ov-file
核心节点手册:ComfyUI 用户手册 | ComfyUI 手册
学习原则:SD系列、Flux系列是通用基础模型,本身已经具备多领域生成能力(人物、建筑、场景等),通过精心选择的LoRA+提示词工程可以生成优质效果。
学习目标:掌握comfyui官方基础工作流、SD、Flux模型官方示例工作流,在通用基础模型的基础上使用对应基础算法的lora及对应触发词,达到生成特定内容的目的。
官方模型历史及各版本对应文件
SD
SD官方对自己模型及功能的介绍:Stability AI Image Models — Stability AI
SD基础模型:
https://huggingface.co/stabilityai 官方地址
https://hf-mirror.com/stabilityai 国内免翻墙下载地址
1、SD1.5
2022年推出,经典文生图模型,支持512×512分辨率,广泛用于二次元、写实风格生成。逐渐被SDXL系列取代,但仍是开源社区微调的基础。
v1-5-pruned-emaonly.ckpt 就是fp32,32位浮点数,约4GB显存占用,生成速度较慢,图像质量较优。
v1-5-pruned-emaonly-fp16.safetensors 16位浮点数,约2.5GB显存占用,更快(计算效率提升10-30%),图像质量极轻微差异(人眼通常无法分辨)。
官方示例中的都是基于SD1.5改进的模型:
Dreamshaper 8 :dreamshaper_8.safetensors
Anything V5
512-inpainting-ema.safetensors 是基于SD1.5专为inpainting 设计的模型,比v1-5-pruned-emaonly-fp16.safetensors 生成效果更好(工作流中换了基础模型也能用)。
其他:
SD1.5 LCM
SD1.5 Hyper-SD
都是基于 Stable Diffusion 1.5(SD1.5) 的加速优化模型,但采用不同的技术方案,目标都是大幅减少生成步骤(1-8步)的同时保持较高的图像质量。
2、SD2,SD2.1
2022年底推出,分辨率从512提升到768(注意,SD模型支持这个分辨率并不意味着只能生成这个分辨率的图,什么尺寸都可以,只是大图会模糊,512最合适),与SD 1.x系列一样已被淘汰。主要模型如下:
stable-diffusion-2-base :512-base-ema.ckpt
stable-diffusion-2 :768-v-ema.ckpt
stable-diffusion-2-depth:512-depth-ema.ckpt
stable-diffusion-2-inpainting :512-inpainting-ema.ckpt
stable-diffusion-2-1-base : 由 stable-diffusion-2-base 微调而来,v2-1_512-ema-pruned.ckpt
stable-diffusion-2-1 : 由stable-diffusion-2微调而来,v2-1_768-ema-pruned.ckpt
stable-diffusion-2-1-unclip : 由stable-diffusion-2微调而来,专门调整以接收图像概念作为输入。使用此模型附带的 CLIPVision 对输入的图片提取特征作为条件传递给主模型。
sd21-unclip-h.ckpt 适合解析高精度图像
sd21-unclip-l.ckpt 精度略低
sd_turbo.safetensors,是stable-diffusion-2-1精简版,1~4步合成,快。
3、SDXL
2023年中推出,分辨率提升至1024×1024。
基础模型:sd_xl_base_1.0.safetensors
优化模型:sd_xl_refiner_1.0.safetensors
sd_xl_turbo_1.0.safetensors,是基础模型的精简版,快。sd_xl_turbo_1.0_fp16.safetensors,图片质量低点。
4、SD3
Stable Diffusion 3 Medium ,2024年6月推出,多模态的,因技术性能和用户口碑未达预期,逐渐被市场边缘化。
sd3_medium.safetensors 包含 MMDiT 和 VAE 权重,但不包含任何文本编码器。(要单独加载CLIP编码器)
sd3_medium_incl_clips_t5xxlfp16.safetensors 包含所有必要的权重,包括 T5XXL 文本编码器的 fp16 版本。
sd3_medium_incl_clips_t5xxlfp8.safetensors 包含所有必要的权重,包括 T5XXL 文本编码器的 fp8 版本,在质量和资源需求之间提供了平衡。
sd3_medium_incl_clips.safetensors 包含所有必要的权重,除了 T5XXL 文本编码器。它需要的资源最少,但模型性能将因缺少 T5XXL 文本编码器而有所不同。
text_encoders 文件夹包含三个文本编码器及其原始模型卡片链接,方便用户使用。text_encoders 文件夹(及其在其他打包中嵌入的等效组件)内的所有组件均受其各自原始许可证的约束。
example_workfows 文件夹包含示例舒适工作流程。
5、SD3.5
2024年10月22日推出,分辨率提升到1440,包含三个版本:
Medium(26亿参数):优化消费级硬件适配,支持0.25MP-2MP分辨率(10月29日发布)
Large(80亿参数):专业级高分辨率生成(支持1MP分辨率),强调图像质量和提示词响应性138。
Large Turbo:精简版,仅需4步生成高质量图像,速度大幅提升18。
sd3.5_medium.safetensors,huggingface仓库里都有样例工作流,controlnet也同步更新了
sd3.5_large_turbo.safetensors,
另外,sd3.5在2025年也推出了amd版gpu版本。
Flux
Flux官方对自己功能的介绍:Black Forest Labs - Frontier AI Lab
Flux基础模型:
https://huggingface.co/black-forest-labs
https://hf-mirror.com/black-forest-labs 国内免翻墙下载地址
Flux.1 Pro: 效果最佳模型,闭源模型,仅支持通过 API 调用。
Flux.1 [dev] :开源但仅限非商业使用,从 Pro 版本蒸馏而来,效果接近Pro版。显存资源(推荐16GB以上),flux1-dev.safetensors
Flux.1 [schnell]:仅需4步即可生成图像,适合低配置硬件。fp8 版本的模型,质量相对完整版会有所降低。flux1-schnell.safetensors
FLUX.1-Depth-dev 和 FLUX.1-Canny-dev专门为控图设计,生图用Flux.1 [dev],控图按需求用这两个(工作流中换了基础模型也能用)。不过其他平台为flux控图训练了controlnet。
InstantX:
FLUX.1-dev-Controlnet-Canny
FLUX.1-dev-ControlNet-Depth
FLUX.1-dev-ControlNet-Union-Pro
XLab: flux-controlnet-collections
Flux特色lora:
https://huggingface.co/XLabs-AI Flux合作社区的lora
https://github.com/XLabs-AI/x-flux-comfyui?tab=readme-ov-file 社区为lora、主流插件ip-adapter搭配的工作流示例
https://github.com/logtd/ComfyUI-Fluxtapoz?tab=readme-ov-file flux代替ip-adapter做风格迁移
https://huggingface.co/alimama-creative/FLUX.1-Turbo-Alpha 国内阿里团队开发的lora
HiDream-I1
新出的,比Flux和SD3.5强一点点,说自己很快,几秒出图
三个版本,和SD3一样需要单独加载CLIP。
官方工作流梳理
SD3.5:官方有https://huggingface.co/stabilityai/stable-diffusion-3.5-medium/tree/main
Flux :上面Flux特色lora里的三个