ComfyUI零基础入门搭建教程

Ai绘画顾姐

已于 2024-08-12 17:55:24 修改

阅读量944

点赞数 8

文章标签： AIGC stable diffusion 人工智能

于 2024-08-12 17:50:44 首次发布

本文链接：https://blog.csdn.net/xiqng17111342931/article/details/141137876

版权

前言

一、介绍

ComfyUI 是一个强大的、模块化的 Stable Diffusion 界面与后端项目。该用户界面允许用户使用基于图形/节点/流程图的界面设计和执行高级稳定的扩散管道。该项目部分其它特点如下：

目前全面支持 SD1.x，SD2.x，SDXL，SD3，Stable Video Diffusion 和 Stable Cascade
命令行选项： --lowvram 使其在显存小于 1GB 的 GPU 上运行（在显存较低的 GPU 上自动启用）
即使没有 GPU，也可以工作： --cpu （慢）
可以加载 ckpt、safetensors 和 diffusers models/checkpoints。独立 VAE 和 CLIP 模型
从生成的 PNG 文件加载完整的工作流程（带有种子）
将工作流程保存/加载为 Json 文件

二、容器构建说明

1. 部署ComfyUI

（1）使用命令克隆ComfyUI

git clone https://github.com/comfyanonymous/ComfyUI.git  
cd ComfyUI

（2）安装 conda（如已安装则跳过）

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境，可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程：

下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3\-latest-Linux-x86\_64.sh

运行安装脚本

bash Miniconda3\-latest-Linux-x86\_64.sh

遵循安装提示并初始化

按 Enter 键查看许可证条款，阅读完毕后输入 yes 接受条款，安装完成后，脚本会询问是否初始化 conda 环境，输入 yes 并按 Enter 键。

运行 source ~/.bashrc 命令激活 conda 环境
再次输入 conda --version 命令来验证是否安装成功，如果出现类似 conda 4.10.3 这样的输出就成功了。

（3）创建虚拟环境

输入下面的命令：

conda create -n comfyui  
conda activate comfyui

（4）安装pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

（5）安装项目依赖

pip install -r requirements.txt

此时所需环境就已经搭建完成，通过下面命令进行启动：

python main.py

访问网址得到类似下图界面即表示成功启动：

2. 下载stable diffusion 3的相关内容

（1）下载模型SD3

访问 Hugging Face 搜索“stable-diffusion-3-medium”下载 Stable Diffusion 3 的相关模型。首次访问该页面时，可能需要同意用户协议才能看到模型下载页。

官方提供了4个模型：

①由名字可以看出模型“sd3_medium”不带任何文本编码器，因此要使用的话需要下载 text encode 文件夹下的四个文件；

②模型“sd3_medium_incl_clips”可以直接生成图像，但不包含 T5xxlf的的文本编码器，所以性能会稍微差一些，但是需要的资源配置也会比较少；

③另外两个大模型类似v1.5 和 XL，可以直接用于图像生成。区别在于 T5xxlf编码器的浮点数不同，理论上 15GB 的stable-diffusion-3-medium的模型对语义的理解效果最好，但也最耗资源。

将适合自己的模型下载到 ComfyUI/models/checkpoint下。注：如果选择了不带clip的模型，则需要搭配 text_encoders中的文件，下载到 ComfyUI/models/clip文件下

在这里插入图片描述

（2）下载工作流

需下载图中的文件夹，这是官方提供的工作流。共三个，分别是：基础工作流、多提示词工作流和放大工作流。

在这里插入图片描述

重新启动模型导入工作流即可开始comfyui探索之旅

3. 拓展插件安装（可选）

（1）下载manager管理器

manager 是一个用来加强ComfyUI可用性的扩展，提供了对ComfyUI各种自定义节点的安装、删除、禁用、启用等管理功能。同时还提供了中心功能和便利功能，用来访问 ComfyUI 中各种信息。

cd /ComfyUI/custom\_nodes  
git clone https://github.com/ltdrdata/ComfyUI-Manager.git

成功安装之后重启界面会出现一个“Manager”如图：

（2）界面汉化插件

git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git

下载文件之后需要重新启动，重启模型之后：

在这里插入图片描述

设置一次之后可点击图中框选出的选项进行语言的切换：

（3）中文提示词插件安装

cd /ComfyUI/custom\_nodes  
git clone https://github.com/thisjam/comfyui-sixgod\_prompt.git

然后重启ComfyUI后看到下图的小标志就表示可以了：

在这里插入图片描述

使用方法：双击页面，在搜索框中搜索“six”即可出现，点击sixGodPrompts，此时出现的就是提示词的中文输入框可以替代自带的clip输入框，可点击左下角的小标或按“AIT”+“q”打开和隐藏。

在这里插入图片描述

使用方法如下：

在这里插入图片描述
为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。