从零玩转ComfyUI:节点式工作流AI大模型绘画全攻略|安装×插件×技巧一网打尽

请添加图片描述

一、ComfyUI 的详细介绍,涵盖其核心功能、优势、适用场景及与其他工具的区别:


一、ComfyUI 是什么?

ComfyUI 是一款基于 节点式可视化编程 的 Stable Diffusion(SD)操作界面,专为灵活控制图像生成流程而设计。与传统的 WebUI(如 AUTOMATIC1111)不同,它通过拖拽节点连接的方式构建工作流,允许用户精细控制模型、参数、插件之间的交互逻辑,适合高级用户和开发者。


二、核心特点与优势

特性详细说明
节点化工作流所有操作(模型加载、提示词输入、参数调整、图像输出等)均以节点形式呈现,可自由组合逻辑链。
高度可定制化支持自定义节点、插件扩展(如 ControlNet、LoRA、图像修复等),满足复杂需求。
轻量化与高效无图形界面冗余设计,资源占用低(显存优化优于WebUI),适合低配置设备。
工作流可保存/复用可导出工作流配置(JSON文件),便于分享或快速复用复杂流程(如动画生成、多模型融合)。
跨平台支持支持 Windows、Mac(M1/M2芯片)、Linux 系统,兼容 CPU 和 GPU(NVIDIA/AMD)。

三、与其他工具的核心区别

对比维度ComfyUIStable Diffusion WebUI
操作方式节点式编程,需手动连接逻辑链图形界面,预设功能按钮
学习曲线较高(需理解节点逻辑)较低(适合新手快速上手)
灵活性极高(可自定义任意流程)一般(依赖插件扩展功能)
资源占用显存占用更低,适合低配设备显存需求较高(界面功能多)
适用人群开发者、进阶用户、工作流研究者普通用户、快速出图需求者

四、核心功能模块

  1. 基础生成

    • 支持 SD 1.5、SDXL、自定义模型(.safetensors/.ckpt)。
    • 多模态输入:文本提示词、图像重绘、遮罩编辑。
  2. 高级控制

    • ControlNet:通过边缘检测、深度图等精准控制构图。
    • LoRA:动态加载风格/角色模型,调整权重实现细节微调。
    • 节点级参数调节:独立控制采样器、CFG值、种子、分辨率等。
  3. 扩展能力

    • 插件生态:支持上百种插件(如动画生成、超分辨率、3D建模)。
    • API 接口:可通过 Python 脚本调用,集成到自动化流程中。

五、适用场景与用户群体

场景用户需求
艺术创作通过精细调节节点实现特定风格(如赛博朋克、水墨风)。
商业设计快速生成广告素材、产品原型,支持批量处理和参数迭代。
算法研究测试新模型/插件的效果,构建实验性工作流(如多模型融合推理)。
动画制作结合 AnimateDiff 插件生成逐帧动画,控制运动轨迹与风格。

六、学习资源推荐

  1. 官方文档
  2. 社区教程
    • B站:搜索“秋叶 ComfyUI 教程”获取中文实操视频。
    • YouTube:Unmesh Dinda 的《ComfyUI Basics》系列(英文)。
  3. 预设工作流
    • 平台:CivitAI、HuggingFace 搜索“ComfyUI Workflow”下载现成模板。

七、最新动态

  • SDXL Turbo 支持:实时生成低步数图像(1-4步),速度提升10倍。
  • 多GPU分布式计算:通过节点配置实现跨显卡并行渲染。
  • 移动端适配:实验性支持通过浏览器远程访问(需配置--listen参数)。

二、ComfyUI的详细安装教程

一、安装前准备

  1. 硬件要求

    • GPU:推荐NVIDIA显卡(显存≥4GB,如RTX3060以上)。
    • CPU/内存:支持CPU运行但速度较慢,建议内存≥8GB。
    • 存储空间:需预留≥40GB空间(推荐SSD)。
  2. 硬件与驱动检查

    • GPU驱动更新
      • NVIDIA用户:访问 NVIDIA官网 下载最新Game Ready驱动。
      • AMD用户:安装ROCm 或使用CPU模式。
    • 显存测试:运行 nvidia-smi(CMD输入)查看显存占用,确保空闲显存≥4GB。
  3. 依赖软件安装

    • Windows必备工具
      • 7-Zip:从官网下载安装,右键菜单支持.7z解压。
      • Python 3.10.6:勾选“Add Python to PATH”选项。
      • Git:安装时选择“Use Git from the Windows Command Prompt”。
    • Mac必备工具
      /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
      brew install python@3.10 git
      

二、安装方法(Windows分步详解)

方法1:秋叶整合包(小白友好)
  1. 整合包下载与解压

    • 下载链接获取:
      • 搜索“秋叶 ComfyUI整合包”进入B站视频简介或评论区获取网盘链接(如阿里云/百度云)。
      • 若链接失效,尝试在CivitAI或HuggingFace搜索“ComfyUI-aki”。
    • 解压注意事项
      • 路径示例:D:\AI_Tools\ComfyUI(避免C:\用户\桌面等含中文或空格路径)。
      • 若解压失败,用7-Zip修复压缩包或重新下载。
  2. 首次启动配置

    • 启动器设置
      • 双击A绘图启动器.exe后,等待自动安装VC_redist.x64.exe(若弹出需允许)。
      • 若提示“缺少dll文件”,安装微软运行库合集
    • 模型路径绑定
      • 修改ComfyUI\extra_model_paths.yaml
        base_path: "D:/StableDiffusion/models"  # 指向已有SD WebUI模型目录
        checkpoints: "Stable-diffusion"  
        vae: "VAE"  
        loras: "Lora"  
        
      • 保存后重启,模型将自动同步(节省硬盘空间)。
方法2:官方手动安装(开发者向)
  1. 代码克隆与虚拟环境

    git clone https://github.com/comfyanonymous/ComfyUI.git
    cd ComfyUI
    python -m venv venv  # 创建虚拟环境
    venv\Scripts\activate  # 激活环境(Windows)
    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # CUDA版PyTorch
    pip install -r requirements.txt  # 安装依赖
    
  2. 启动参数优化

    • 编辑run_nvidia_gpu.bat
      @echo off
      set PYTHON=venv\Scripts\python.exe
      set ARGS=--listen --port 8188 --enable-cors-header
      %PYTHON% main.py %ARGS%
      pause
      
    • 参数说明
      • --listen:允许局域网访问(手机或其他设备输入PC的IP:8188)。
      • --lowvram:低显存模式(6GB以下显卡必加)。

三、插件与汉化(逐步骤图解)

  1. ComfyUI Manager安装(非整合包用户)

    • 手动下载插件:
      • 访问 ComfyUI-Manager GitHub,点击“Code → Download ZIP”。
      • 解压ZIP至ComfyUI\custom_nodes\ComfyUI-Manager(需手动创建custom_nodes文件夹)。
    • 重启ComfyUI,界面右下角出现🛠️图标表示成功。
  2. 汉化流程

    • 方案1:在线安装(推荐)
      1. 点击右下角🛠️ → 搜索“Chinese” → 安装AIGODLIKE-ComfyUI-Translation
      2. 重启后,右下角齿轮 → Language → 选择“中文”。
    • 方案2:离线包安装
      1. 下载汉化包,复制translation文件夹到custom_nodes
      2. 修改translation.json调整术语(如“采样器”改为“Sampler”)。

四、基础工作流搭建(节点级教学)

  1. 文本生成图像全流程

    • 节点连接顺序
      加载检查点 → CLIP文本编码(正向/负向)→ K采样器 → VAE解码 → 保存图像
      
    • 参数详解
      • K采样器
        • steps:20-30(步数越多细节越丰富,但速度越慢)。
        • cfg:7-12(数值越高越贴近提示词,过高会失真)。
        • sampler:dpmpp_2m(平衡速度与质量)。
      • VAE解码:选择与模型匹配的VAE(如vae-ft-mse-840000-ema-pruned.safetensors)。
  2. 实时预览技巧

    • K采样器VAE解码之间插入预览图像节点,点击“队列提示”后实时查看生成进度。
    • 右键节点 → 勾选“总是输出图像”避免重复生成。

五、高级功能实战

  1. ControlNet控制生成

    1. 通过ComfyUI Manager安装ControlNet Preprocessors
    2. 工作流添加节点:
      上传图片 → ControlNet预处理(如Canny边缘检测)→ ControlNet应用 → 连接到K采样器
      
    3. 调整“ControlNet权重”(0.8-1.2控制贴合程度)。
  2. LoRA模型调用

    • 将LoRA文件(.safetensors)放入models/loras
    • 加载检查点节点后插入LoRA加载器,输入LoRA名称和权重(通常0.6-1.0)。

六、故障排查手册

问题现象解决方案
启动时提示“CUDA out of memory”1. 添加--lowvram启动参数
2. 降低生成分辨率(如512x512→384x384)
3. 关闭其他占用显存的程序(如游戏、Chrome)
界面空白/无法加载工作流1. 清除浏览器缓存
2. 访问http://127.0.0.1:8188/restart强制重启
3. 检查防火墙是否阻止端口8188
模型加载失败1. 确认文件后缀为.safetensors.ckpt
2. 检查extra_model_paths.yaml路径格式(用/代替\

七、Mac系统专属指南

  1. M1/M2芯片优化

    # 安装加速依赖
    brew install cmake protobuf rust
    pip install --pre torch torchvision --extra-index-url https://download.pytorch.org/whl/nightly/cpu
    
  2. 启动命令

    python main.py --force-fp16  # 强制半精度减少显存占用
    

八、模型资源推荐

类型推荐下载源代表作
基础模型CivitAISDXL 1.0、DreamShaper XL
LoRAHuggingFaceKoreanDollLikeness、CyberRealistic
插件扩展ComfyUI GitHub WikiWAS Node Suite(图像增强工具包)

三、ComfyUI 安装后的详细使用教程,结合了工作流搭建、插件管理、高级功能操作及优化技巧:


在这里插入图片描述

一、基础使用流程

  1. 启动与界面概览

    • 启动后浏览器自动打开 http://127.0.0.1:8188(默认端口),界面分为左侧节点面板、中间工作区、右侧功能栏(保存/加载工作流等)。
    • 语言切换:右下角齿轮 → Language → 选择“中文”(需提前安装汉化插件)。
  2. 加载模型与生成第一张图

    • 加载检查点模型:右键工作区 → Add Node → Loaders → Load Checkpoint,选择模型(需提前放入 models/checkpoints 目录)。
    • 输入提示词:添加两个 CLIP Text Encode 节点,分别填写正向/负向提示词,连接至采样器节点。
    • 设置采样参数:添加 KSampler 节点,配置参数(推荐:steps=20-30,cfg=7-12,采样器选 dpmpp_2m)。
    • 生成图像:点击右上角 Queue Prompt 或按 Ctrl+Enter,结果保存在 outputs 目录。
A strikingly beautiful East Asian girl with long, sleek black hair flowing gracefully, almond - shaped eyes glistening like gems, high cheekbones, and a delicate, porcelain - like complexion. She is wearing a traditional qipao adorned with intricate floral patterns, standing in a beautiful Chinese garden filled with blooming peonies.

在这里插入图片描述


二、核心节点与工作流搭建

  1. 基础工作流结构

    加载模型 → CLIP编码提示词 → K采样器 → VAE解码 → 保存图像
    
    • Latent空间设置:通过 Empty Latent Image 节点调整分辨率(如 512x512)和批次数量。
    • VAE选择:部分模型需搭配特定VAE,从 Load VAE 节点加载。
  2. 节点连接规则

    • 同类相连:仅同色端口可连接(如橙色CLIP输出连至橙色采样器输入)。
    • 一进多出:一个输出可连接多个输入,但一个输入只能接收一个输出。
  3. 保存与复用工作流

    • 点击右侧 Save 保存当前工作流为 .json 文件,Load 可加载他人分享的模板。

三、插件安装与使用

  1. 必备插件推荐

    • ComfyUI Manager:集中管理插件,支持在线安装/更新。手动安装需将插件仓库克隆至 custom_nodes 目录。
    • ControlNet++:支持SDXL的多控制类型(Canny、Depth等),模型放入 models/controlnet,通过 ControlNet Loader 节点调用。
    • IPAdapter:实现图像风格迁移,需安装 ComfyUI_IPAdapter_plus 插件并下载专用模型(如 ip-adapter-plus_sd15.safetensors)。
  2. 插件操作示例(以ControlNet为例)

    • 添加 ControlNet Preprocessor 节点处理输入图像(如边缘检测)。
    • 连接至 ControlNet Apply 节点,选择控制类型和模型权重(0.8-1.2)。

四、进阶功能与技巧

  1. LoRA模型调用

    • 将LoRA文件(.safetensors)放入 models/loras,在 Load Checkpoint 后插入 LoRA Loader 节点,设置权重(通常0.6-1.0)。
  2. 多模型对比生成

    • 并行添加多个 Load Checkpoint 节点,连接至独立的采样分支,生成时对比不同模型效果。
  3. 实时硬件监控

    • 安装 ComfyUI-Crystools 插件,实时显示GPU/CPU使用率、显存占用及生成进度。
  4. 图像编辑与重绘

    • 局部重绘:使用 BrushNet 插件,支持图像扩展、元素删除。需下载专用模型并配置 Inpaint 节点。
    • 遮罩编辑:通过 Image Composite 节点结合遮罩控制重绘区域。

五、优化与故障排查

  1. 性能优化

    • 低显存模式:启动时添加 --lowvram 参数,或降低生成分辨率。
    • 多GPU支持:通过节点配置分布式计算(需SDXL Turbo等新版功能支持)。
  2. 常见问题解决

    • 模型加载失败:检查文件路径格式(使用 / 而非 \),确认模型后缀为 .safetensors.ckpt
    • 界面空白/卡顿:清除浏览器缓存,或访问 http://127.0.0.1:8188/restart 强制重启。

通过以上步骤,可快速掌握 ComfyUI 的核心操作,逐步探索复杂工作流与插件功能。如需更深入的工作流设计(如动画生成、多模型融合),可参考进阶教程或社区分享案例。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值