一、ComfyUI 的详细介绍,涵盖其核心功能、优势、适用场景及与其他工具的区别:
一、ComfyUI 是什么?
ComfyUI 是一款基于 节点式可视化编程 的 Stable Diffusion(SD)操作界面,专为灵活控制图像生成流程而设计。与传统的 WebUI(如 AUTOMATIC1111)不同,它通过拖拽节点连接的方式构建工作流,允许用户精细控制模型、参数、插件之间的交互逻辑,适合高级用户和开发者。
二、核心特点与优势
特性 | 详细说明 |
---|---|
节点化工作流 | 所有操作(模型加载、提示词输入、参数调整、图像输出等)均以节点形式呈现,可自由组合逻辑链。 |
高度可定制化 | 支持自定义节点、插件扩展(如 ControlNet、LoRA、图像修复等),满足复杂需求。 |
轻量化与高效 | 无图形界面冗余设计,资源占用低(显存优化优于WebUI),适合低配置设备。 |
工作流可保存/复用 | 可导出工作流配置(JSON文件),便于分享或快速复用复杂流程(如动画生成、多模型融合)。 |
跨平台支持 | 支持 Windows、Mac(M1/M2芯片)、Linux 系统,兼容 CPU 和 GPU(NVIDIA/AMD)。 |
三、与其他工具的核心区别
对比维度 | ComfyUI | Stable Diffusion WebUI |
---|---|---|
操作方式 | 节点式编程,需手动连接逻辑链 | 图形界面,预设功能按钮 |
学习曲线 | 较高(需理解节点逻辑) | 较低(适合新手快速上手) |
灵活性 | 极高(可自定义任意流程) | 一般(依赖插件扩展功能) |
资源占用 | 显存占用更低,适合低配设备 | 显存需求较高(界面功能多) |
适用人群 | 开发者、进阶用户、工作流研究者 | 普通用户、快速出图需求者 |
四、核心功能模块
-
基础生成
- 支持 SD 1.5、SDXL、自定义模型(
.safetensors
/.ckpt
)。 - 多模态输入:文本提示词、图像重绘、遮罩编辑。
- 支持 SD 1.5、SDXL、自定义模型(
-
高级控制
- ControlNet:通过边缘检测、深度图等精准控制构图。
- LoRA:动态加载风格/角色模型,调整权重实现细节微调。
- 节点级参数调节:独立控制采样器、CFG值、种子、分辨率等。
-
扩展能力
- 插件生态:支持上百种插件(如动画生成、超分辨率、3D建模)。
- API 接口:可通过 Python 脚本调用,集成到自动化流程中。
五、适用场景与用户群体
场景 | 用户需求 |
---|---|
艺术创作 | 通过精细调节节点实现特定风格(如赛博朋克、水墨风)。 |
商业设计 | 快速生成广告素材、产品原型,支持批量处理和参数迭代。 |
算法研究 | 测试新模型/插件的效果,构建实验性工作流(如多模型融合推理)。 |
动画制作 | 结合 AnimateDiff 插件生成逐帧动画,控制运动轨迹与风格。 |
六、学习资源推荐
- 官方文档
- ComfyUI GitHub Wiki:核心节点说明与开发指南。
- 社区教程
- B站:搜索“秋叶 ComfyUI 教程”获取中文实操视频。
- YouTube:Unmesh Dinda 的《ComfyUI Basics》系列(英文)。
- 预设工作流
- 平台:CivitAI、HuggingFace 搜索“ComfyUI Workflow”下载现成模板。
七、最新动态
- SDXL Turbo 支持:实时生成低步数图像(1-4步),速度提升10倍。
- 多GPU分布式计算:通过节点配置实现跨显卡并行渲染。
- 移动端适配:实验性支持通过浏览器远程访问(需配置
--listen
参数)。
二、ComfyUI的详细安装教程
一、安装前准备
-
硬件要求
- GPU:推荐NVIDIA显卡(显存≥4GB,如RTX3060以上)。
- CPU/内存:支持CPU运行但速度较慢,建议内存≥8GB。
- 存储空间:需预留≥40GB空间(推荐SSD)。
-
硬件与驱动检查
-
依赖软件安装
- Windows必备工具:
- 7-Zip:从官网下载安装,右键菜单支持
.7z
解压。 - Python 3.10.6:勾选“Add Python to PATH”选项。
- Git:安装时选择“Use Git from the Windows Command Prompt”。
- 7-Zip:从官网下载安装,右键菜单支持
- Mac必备工具:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install python@3.10 git
- Windows必备工具:
二、安装方法(Windows分步详解)
方法1:秋叶整合包(小白友好)
-
整合包下载与解压
- 下载链接获取:
- 搜索“秋叶 ComfyUI整合包”进入B站视频简介或评论区获取网盘链接(如阿里云/百度云)。
- 若链接失效,尝试在CivitAI或HuggingFace搜索“ComfyUI-aki”。
- 解压注意事项:
- 路径示例:
D:\AI_Tools\ComfyUI
(避免C:\用户\桌面
等含中文或空格路径)。 - 若解压失败,用7-Zip修复压缩包或重新下载。
- 路径示例:
- 下载链接获取:
-
首次启动配置
- 启动器设置:
- 双击
A绘图启动器.exe
后,等待自动安装VC_redist.x64.exe
(若弹出需允许)。 - 若提示“缺少dll文件”,安装微软运行库合集。
- 双击
- 模型路径绑定:
- 修改
ComfyUI\extra_model_paths.yaml
:base_path: "D:/StableDiffusion/models" # 指向已有SD WebUI模型目录 checkpoints: "Stable-diffusion" vae: "VAE" loras: "Lora"
- 保存后重启,模型将自动同步(节省硬盘空间)。
- 修改
- 启动器设置:
方法2:官方手动安装(开发者向)
-
代码克隆与虚拟环境
git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI python -m venv venv # 创建虚拟环境 venv\Scripts\activate # 激活环境(Windows) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # CUDA版PyTorch pip install -r requirements.txt # 安装依赖
-
启动参数优化
- 编辑
run_nvidia_gpu.bat
:@echo off set PYTHON=venv\Scripts\python.exe set ARGS=--listen --port 8188 --enable-cors-header %PYTHON% main.py %ARGS% pause
- 参数说明:
--listen
:允许局域网访问(手机或其他设备输入PC的IP:8188)。--lowvram
:低显存模式(6GB以下显卡必加)。
- 编辑
三、插件与汉化(逐步骤图解)
-
ComfyUI Manager安装(非整合包用户)
- 手动下载插件:
- 访问 ComfyUI-Manager GitHub,点击“Code → Download ZIP”。
- 解压ZIP至
ComfyUI\custom_nodes\ComfyUI-Manager
(需手动创建custom_nodes
文件夹)。
- 重启ComfyUI,界面右下角出现🛠️图标表示成功。
- 手动下载插件:
-
汉化流程
- 方案1:在线安装(推荐)
- 点击右下角🛠️ → 搜索“Chinese” → 安装
AIGODLIKE-ComfyUI-Translation
。 - 重启后,右下角齿轮 → Language → 选择“中文”。
- 点击右下角🛠️ → 搜索“Chinese” → 安装
- 方案2:离线包安装
- 下载汉化包,复制
translation
文件夹到custom_nodes
。 - 修改
translation.json
调整术语(如“采样器”改为“Sampler”)。
- 下载汉化包,复制
- 方案1:在线安装(推荐)
四、基础工作流搭建(节点级教学)
-
文本生成图像全流程
- 节点连接顺序:
加载检查点 → CLIP文本编码(正向/负向)→ K采样器 → VAE解码 → 保存图像
- 参数详解:
- K采样器:
steps
:20-30(步数越多细节越丰富,但速度越慢)。cfg
:7-12(数值越高越贴近提示词,过高会失真)。sampler
:dpmpp_2m(平衡速度与质量)。
- VAE解码:选择与模型匹配的VAE(如
vae-ft-mse-840000-ema-pruned.safetensors
)。
- K采样器:
- 节点连接顺序:
-
实时预览技巧
- 在
K采样器
和VAE解码
之间插入预览图像
节点,点击“队列提示”后实时查看生成进度。 - 右键节点 → 勾选“总是输出图像”避免重复生成。
- 在
五、高级功能实战
-
ControlNet控制生成
- 通过ComfyUI Manager安装
ControlNet Preprocessors
。 - 工作流添加节点:
上传图片 → ControlNet预处理(如Canny边缘检测)→ ControlNet应用 → 连接到K采样器
- 调整“ControlNet权重”(0.8-1.2控制贴合程度)。
- 通过ComfyUI Manager安装
-
LoRA模型调用
- 将LoRA文件(
.safetensors
)放入models/loras
。 - 在
加载检查点
节点后插入LoRA加载器
,输入LoRA名称和权重(通常0.6-1.0)。
- 将LoRA文件(
六、故障排查手册
问题现象 | 解决方案 |
---|---|
启动时提示“CUDA out of memory” | 1. 添加--lowvram 启动参数2. 降低生成分辨率(如512x512→384x384) 3. 关闭其他占用显存的程序(如游戏、Chrome) |
界面空白/无法加载工作流 | 1. 清除浏览器缓存 2. 访问 http://127.0.0.1:8188/restart 强制重启3. 检查防火墙是否阻止端口8188 |
模型加载失败 | 1. 确认文件后缀为.safetensors 或.ckpt 2. 检查 extra_model_paths.yaml 路径格式(用/ 代替\ ) |
七、Mac系统专属指南
-
M1/M2芯片优化
# 安装加速依赖 brew install cmake protobuf rust pip install --pre torch torchvision --extra-index-url https://download.pytorch.org/whl/nightly/cpu
-
启动命令
python main.py --force-fp16 # 强制半精度减少显存占用
八、模型资源推荐
类型 | 推荐下载源 | 代表作 |
---|---|---|
基础模型 | CivitAI | SDXL 1.0、DreamShaper XL |
LoRA | HuggingFace | KoreanDollLikeness、CyberRealistic |
插件扩展 | ComfyUI GitHub Wiki | WAS Node Suite(图像增强工具包) |
三、ComfyUI 安装后的详细使用教程,结合了工作流搭建、插件管理、高级功能操作及优化技巧:
一、基础使用流程
-
启动与界面概览
- 启动后浏览器自动打开
http://127.0.0.1:8188
(默认端口),界面分为左侧节点面板、中间工作区、右侧功能栏(保存/加载工作流等)。 - 语言切换:右下角齿轮 → Language → 选择“中文”(需提前安装汉化插件)。
- 启动后浏览器自动打开
-
加载模型与生成第一张图
- 加载检查点模型:右键工作区 → Add Node → Loaders → Load Checkpoint,选择模型(需提前放入
models/checkpoints
目录)。 - 输入提示词:添加两个
CLIP Text Encode
节点,分别填写正向/负向提示词,连接至采样器节点。 - 设置采样参数:添加
KSampler
节点,配置参数(推荐:steps=20-30,cfg=7-12,采样器选dpmpp_2m
)。 - 生成图像:点击右上角
Queue Prompt
或按Ctrl+Enter
,结果保存在outputs
目录。
- 加载检查点模型:右键工作区 → Add Node → Loaders → Load Checkpoint,选择模型(需提前放入
A strikingly beautiful East Asian girl with long, sleek black hair flowing gracefully, almond - shaped eyes glistening like gems, high cheekbones, and a delicate, porcelain - like complexion. She is wearing a traditional qipao adorned with intricate floral patterns, standing in a beautiful Chinese garden filled with blooming peonies.
二、核心节点与工作流搭建
-
基础工作流结构
加载模型 → CLIP编码提示词 → K采样器 → VAE解码 → 保存图像
- Latent空间设置:通过
Empty Latent Image
节点调整分辨率(如 512x512)和批次数量。 - VAE选择:部分模型需搭配特定VAE,从
Load VAE
节点加载。
- Latent空间设置:通过
-
节点连接规则
- 同类相连:仅同色端口可连接(如橙色CLIP输出连至橙色采样器输入)。
- 一进多出:一个输出可连接多个输入,但一个输入只能接收一个输出。
-
保存与复用工作流
- 点击右侧
Save
保存当前工作流为.json
文件,Load
可加载他人分享的模板。
- 点击右侧
三、插件安装与使用
-
必备插件推荐
- ComfyUI Manager:集中管理插件,支持在线安装/更新。手动安装需将插件仓库克隆至
custom_nodes
目录。 - ControlNet++:支持SDXL的多控制类型(Canny、Depth等),模型放入
models/controlnet
,通过ControlNet Loader
节点调用。 - IPAdapter:实现图像风格迁移,需安装
ComfyUI_IPAdapter_plus
插件并下载专用模型(如ip-adapter-plus_sd15.safetensors
)。
- ComfyUI Manager:集中管理插件,支持在线安装/更新。手动安装需将插件仓库克隆至
-
插件操作示例(以ControlNet为例)
- 添加
ControlNet Preprocessor
节点处理输入图像(如边缘检测)。 - 连接至
ControlNet Apply
节点,选择控制类型和模型权重(0.8-1.2)。
- 添加
四、进阶功能与技巧
-
LoRA模型调用
- 将LoRA文件(
.safetensors
)放入models/loras
,在Load Checkpoint
后插入LoRA Loader
节点,设置权重(通常0.6-1.0)。
- 将LoRA文件(
-
多模型对比生成
- 并行添加多个
Load Checkpoint
节点,连接至独立的采样分支,生成时对比不同模型效果。
- 并行添加多个
-
实时硬件监控
- 安装
ComfyUI-Crystools
插件,实时显示GPU/CPU使用率、显存占用及生成进度。
- 安装
-
图像编辑与重绘
- 局部重绘:使用
BrushNet
插件,支持图像扩展、元素删除。需下载专用模型并配置Inpaint
节点。 - 遮罩编辑:通过
Image Composite
节点结合遮罩控制重绘区域。
- 局部重绘:使用
五、优化与故障排查
-
性能优化
- 低显存模式:启动时添加
--lowvram
参数,或降低生成分辨率。 - 多GPU支持:通过节点配置分布式计算(需SDXL Turbo等新版功能支持)。
- 低显存模式:启动时添加
-
常见问题解决
- 模型加载失败:检查文件路径格式(使用
/
而非\
),确认模型后缀为.safetensors
或.ckpt
。 - 界面空白/卡顿:清除浏览器缓存,或访问
http://127.0.0.1:8188/restart
强制重启。
- 模型加载失败:检查文件路径格式(使用
通过以上步骤,可快速掌握 ComfyUI 的核心操作,逐步探索复杂工作流与插件功能。如需更深入的工作流设计(如动画生成、多模型融合),可参考进阶教程或社区分享案例。