第十七：ComfyUI详细部署教程和使用

卢卡平头哥

已于 2024-10-19 16:31:06 修改

阅读量2.3k

点赞数 14

分类专栏： AIGC 文章标签： python

于 2024-10-18 18:36:46 首次发布

本文链接：https://blog.csdn.net/hyq413950612/article/details/143059879

版权

AIGC 专栏收录该内容

20 篇文章

订阅专栏

在这里插入图片描述
一.特性

1.节点/图形/流程图界面，用于实验和创建复杂的稳定扩散工作流程，无需编写任何代码
2.完全支持SD1.x、SD2.x和SDXL

3.异步队列系统：多项优化只重新执行工作流中在两次执行之间发生变化的部分

4.命令行选项：--lowvram可使其在3GB内存以下的GPU上运行(在低内存的GPU上自动启用)

5.即使没有GPU也能使用：--cpu(慢速)

6.可加载ckpt、safetensors和diffusers模型/检查点独，立的VAE和CLIP模型

7.嵌入/文本反演：Loras(常规、locon和loha)

8.超网络：从生成的PNG文件加载完整的工作流(含种子以Json文件保存/加载工作流)
8.1.节点界面可用于创建复杂的工作流程，如 "Hires fix "或更高级的工作流程

9.区域合成：使用常规和内绘模型进行内绘

10.控制网络和T2I适配器

11.升级模型(ESRGAN、ESRGAN变体、SwinIR、Swin2SR等)
unCLIP模型
GLIGEN

12.模型合并
13.使用TAESD进行潜伏预览
14.启动速度极快
15.完全离线工作：不会下载任何东西
16.配置文件可设置模型的搜索路径

一.快捷键

1.MacOS用户也可以用Cmd代替Ctrl

在这里插入图片描述
一.windows压缩包安装ComfyUI

1.在发布页面上，有适用于Windows的便携式单机版，可以在Nvidia GPU上运行，也可以只在CPU上运行

2.官网下载地址：https://link.zhihu.com/?target=https%3A//github.com/comfyanonymous/ComfyUI/releases/download/latest/ComfyUI_windows_portable_nvidia_cu121_or_cpu.7z

3.百度云盘链接：https://pan.baidu.com/share/init?surl=rQ3J2rCh9zsjxUxJ4LDmlA&pwd=n2i7

提取码：n2i7 （2023.12.01更新）

4.只需下载，用7-Zip解压缩并运行即可

4.1.确保将稳定扩散检查点/模型(巨大的ckpt/safetensors文件)放入文件中：ComfyUI\models\checkpoints

5.将下载好的文件放到指定目录后提取文件得到如下图所示文件夹

在这里插入图片描述

6.启动comfyUI如下图根据具体需求选择对应的脚本

在这里插入图片描述

7.出现如下信息后表示comfyUI启动成功

在这里插入图片描述

8.当然也可以让他转后台运行，本质上是通过bat程序调用python本地文间启动脚本

9.浏览器会自动打开http://127.0.0.1:8188 
9.1.如果没用打开请在浏览器手动输入并访问，至此comfyUI部署完成
9.2.加载模型后可以使用，comfyUI默认不包含任何模型

在这里插入图片描述

10.加载模型 有条件（魔法）的同学可前往C站下载

11.此处大模型由 B站UP主秋葉aaaki提供，留下了没用SVIP的

大模型：https://pan.baidu.com/share/init?surl=v_RKaBTWkhFYabOvlao7pQ
提取码：aaki

大模型：https://pan.baidu.com/share/init?surl=v_RKaBTWkhFYabOvlao7pQ
提取码：aaki

12.下载完成后将模型放在如下目录checkpoints文件夹下

在这里插入图片描述

13.另一个UI如何跟ComfyUI之间共享模型，之前用的是stable-diffusion-webui

14.以此举例将extra_model_paths.yaml.example文件复制一份
14.1.然后通过文本编辑器打开副本文件

在这里插入图片描述

15.修改配置文件，controlnet插件通过Civitai-Helper下载的所有也需要修改，退出保存

在这里插入图片描述

16.删除extra_model_paths.yaml- 副本.example yaml文件后字符串
16.1.（副本.example）后的得到extra_model_paths.yaml 文件

在这里插入图片描述

17.重启ComfyUI已加载配置文件，关闭如图所示的页面（红色字体是自己输入的）

在这里插入图片描述

18.双击下图中的bat脚本再次启动ComfyUI

在这里插入图片描述

19.重启完成，从提示可以看到已经加载了相关模型

20.至此就可以开始快乐的使用ComfyUI画图

在这里插入图片描述
二.手动安装ComfyUI

1.安装git和python插件下载需要使用git
1.1.请参照此官方文档 https://git-scm.com/download/win安装Python3.11.6
1.2.作者使用的版本，参照官方文档 https://www.python.org/downloads/

2.安装python相关依赖将如下信息保存至requirements.txt文件中

2.1.使用pip install -r requirements.txt安装

在这里插入图片描述

3.如果安装其它UI可以不用再次安装python相关依赖 
3.1.如果安装另一个UI并使用其自己的Python venv工作，则可以使用该venv运行Comfyui
3.2.可以打开自己喜欢的终端并激活它mac或者Linux source

path_to_other_sd_gui/venv/bin/activate

3.3.在Windows上使用Powershell

"path_too_other_sd_gui\venv\Scripts\Activate.ps1" 使用 cmd.exe："path_to_other_sd_gui\venv\scripts\activate.bat"

4.windows建议使用压缩包安装git clone https://github.com/comfyanonymous/ComfyUI.git 

4.1.获取配置文件将SD检查点(巨大的ckpt/safetensors文件)放在： models/checkpoints 中 将VAE文件放入： models/vae

4.2.注意：pytorch尚不支持python3.12，因此请确保您的python版本是3.11或更早

5.AMD显卡(只能在Linux上运行)
5.1.如果尚未安装rocm 和pytorch，AMD用户可以使用pip安装，这是安装稳定版的命令：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6

6.这是安装ROCm5.7夜间版本的命令，该版本可能会有一些性能改进：

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm5.7

三.MAC安装

1.可以在苹果 Mac silicon(M1 或 M2)上安装 ComfyUI，并使用任何最新的macOS版本

2.明晚安装pytorch，确保安装最新的pytorch夜行版

3.启动 python main.py

3.1.对于ROCm官方不支持的AMD显卡如果有问题
3.2.请尝试使用此命令运行： 对于 6700、6600 以及其他RDNA2 
3.3.或更早版本： HSA_OVERRIDE_GFX_VERSION=10.3.0 python main.py 
3.4.对 AMD 7600或其他 RDNA3 显卡： HSA_OVERRIDE_GFX_VERSION=11.0.0 python main.py

4.说明

4.1.只有在图形的输出中包含所有正确输入的部分才会被执行

4.2.只有每次执行时都有变化的图形部分才会被执行，如果两次提交同一个图形，只有第一次会被执行
4.3.如果更改了图形的最后一部分，只有您更改的部分和依赖于它的部分才会被执行

4.4.在网页上拖动生成的图片或加载生成的图片将显示完整的工作流程，包括用于创建该流程的种子

4.5.可以使用()来改变单词或短语的强调程度
4.5.1.如(好代码：1.2)或(坏代码：0.8)
4.5.2.()的默认重音是 1.1。要在实际提示符中使用()字符，可以像或一样转义

4.6.对于通配符/动态提示符，可以使用 {day|night}
4.6.1.使用这种语法，"{wild|card|test}"将在每次排队提示时被前台随机替换为 "wild"、"card "或 "test"。
4.6.2.要在实际提示符中使用{}字符，请将其转义为 { 或 }

4.7.动态提示符还支持C风格注释，如 // comment 或 /* comment */

5.要在文本提示中使用文本反转概念/嵌入，请将它们放在models/embeddings目录中
5.1.然后像这样在CLIPTextEncode节点中使用它们(可以省略 .pt 扩展名)：embedding:embedding_filename.pt

5.如何提高生成速度

5.1.确保使用常规加载器/加载检查点节点来加载检查点
5.2.它会根据GPU自动选择正确的设置。 
5.3.可以设置此命令行设置，在某些交叉注意操作中禁用上传到fp32，这将提高速度请
5.4.注意，这很可能会导致SD2.x模型上的图像变黑
5.5.如果使用的是 xformers，则此选项不起任何作用 ，--dont-upcast-attention

6.如何显示高质量预览

6.1.使用--preview-method auto启用预览 
6.2.默认安装包含一种低分辨率的快速潜伏预览方法
6.3.要使用 TAESD 启用更高质量的预览
6.4.请下载 taesd_decoder.pth用(于 SD1.x 和 SD2.x)
6.5.和taesdxl_decoder.pth(用于 SDXL)模型
6.6.并将它们放到models/vae_approx文件夹中
6.7.安装完成后，重启ComfyUI以启用高质量预览

四.使用ComfyUI

在这里插入图片描述

1.使用默认提示词获取

在这里插入图片描述

2.从上图中的信息发现comfyUI的模块有点多操作有点复杂、不支持中文等
2.1.下面笔者推荐三个插件给大家

五.ComfyUI插件

1.ComfyUI Manager插件

1.1.可以在comfyui节点信息页面上查看整个节点信息，通过该插件安装其它插件

1.2.先看效果，需要时再安装，菜单栏出现Manager的按钮

在这里插入图片描述

1.3.git命令安装前往*\ComfyUI\custom_nodes目录在文件路径处输入cmd按下回车会打开cmd命令行

在这里插入图片描述

1.4.通过该命令安装：git clone https://github.com/ltdrdata/ComfyUI-Manager.git 
1.4.1.下图表示安装成功，重启ComfyUI

在这里插入图片描述


1.5.手动安装 github下载地址：https://github.com/ltdrdata/ComfyUI-Manager

1.6.百度网盘下载地址：：https://pan.baidu.com/s/1sK3jZW_KNFRGtfgywQuTug?pwd=yp0j 

提取码：yp0j

1.7.下载完成后解压文件夹，将文件移动至*\ComfyUI\custom_nodes 路径下，重启ComfyUI

在这里插入图片描述

2.ComfyUI汉化插件

2.1.AIGODLIKE-ComfyUI-Translation用于ComfyUI多语言翻译的插件
2.1.1.该插件实现常驻菜单栏/搜索栏/右键上下文菜单/节点等的翻译

2.1.2.支持的语言类型

在这里插入图片描述

2.2.先看效果，需要时再安装

在这里插入图片描述

2.3.通过Manager安装AIGODLIKE-ComfyUI-Translation
2.3.1.没用git或者访问github下载缓慢请往下看找到手动安装

在这里插入图片描述

2.4.输入translation进行筛选，然后点击点击Install

在这里插入图片描述

2.5.有没有安装完成如下两个区域可以确认

在这里插入图片描述

2.6.手动安装，通过manager安装的跳过此步骤githu
下载地址：https://github.com/AIGODLIKE/AIGODLIKE-COMFYUI-TRANSLATION

2.7.百度网盘下载地址：https://pan.baidu.com/share/init?surl=4eIdsZOUvxI65exlWxxGgw&pwd=ug64
 
提取码：ug64

2.8.下载完成后解压文件夹，将文件移动至*\ComfyUI\custom_nodes路径下

2.9.重启ComfyUI后将语言切换为中文，选中中文后浏览器会自动刷新

在这里插入图片描述

2.10.方法二，点击切换为本地

在这里插入图片描述

3.ComfyUI Efficiency插件

3.1.ComfyUI自定义节点集，可帮助简化工作流程并减少节点总数
3.1.1.具体细节请参照 https://github.com/LucianoCirino/efficiency-nodes-comfyui

3.2.先看效果，需要时再安装。
3.2.1.如下图所示Efficiency帮集成了很多模块，常规模块可见图2对比

在这里插入图片描述

3.3.通过Manager安装Efficiency，安装完成后重启

在这里插入图片描述

3.4.手动安装，通过manager安装的跳过此步骤
github下载地址：https://github.com/LucianoCirino/efficiency-nodes-comfyui

3.5.百度网盘下载地址：https://pan.baidu.com/share/init?surl=HOKhO7umO3HPZgnjqLQHcQ&pwd=aeny

提取码：aeny

3.6.下载完成后解压文件夹，将文件移动至*\ComfyUI\custom_nodes路径下

3.7.重启ComfyUI后，可通过右键，新建节点，效率节点添加需要使用的相关模块

在这里插入图片描述

4.ComfyUI-Custom-Scripts插件

4.1.重要提醒：最新的版的comfyUI(1759 (2023-11-30))已经可以导出工作流，不需要使用额外插件

在这里插入图片描述

4.2.通过Manager安装不在演示，搜索ComfyUI-Custom-Scripts即可安装

4.3.可以将工作流导出为图片，将图片复制到ComfyUI页面即可加载工作流
4.3.1.具体细节请参照https://github.com/pythongosssss/ComfyUI-Custom-Scripts

4.4.github下载地址：https://github.com/pythongosssss/ComfyUI-Custom-Scripts


4.5.百度网盘下载地址：https://pan.baidu.com/share/init?surl=Tbhv0qi9YFocQF7C3I-XXQ&pwd=bhox

提取码：bhox

4.6.下载完成后解压文件夹，将文件移动至`*\ComfyUI\custom_nodes`路径下

在这里插入图片描述

六.ComfyUI示例

1.文生图加入高清算法

在这里插入图片描述

2.图生图

在这里插入图片描述

3.局部重绘

在这里插入图片描述

4.区域组合

将多张图片融合在一起，大致流程是先定义一张比较大尺寸的背景，分成四块区域
每块区域用不同的提示词，然后将提示词融合起来，生成图片
此时生成的图片过渡区域可能太连贯

在这里插入图片描述

4.1.初步区域组合的效果

在这里插入图片描述

4.2.再通过图生图重新绘制，将重绘幅度控制在0.5一下(图片不会发生太大变化)

在这里插入图片描述

4.3.最终效果

在这里插入图片描述

5.区域组合需要用到的完整模块

在这里插入图片描述

七.ControlNet

在这里插入图片描述

1.通过canny控制图像生成

在这里插入图片描述

2.示例模板下载

百度网盘 https://pan.baidu.com/share/init?surl=WdYKddvrv6LaWzbapgFnQQ&pwd=2ora

提取码：2ora

在这里插入图片描述

3.加载模板

在这里插入图片描述

八.ComfyUI模块说明

1.采样器
1.1.采样算法推荐 如果您想使用快速、收敛、新颖、质量上乘的产品，那么最佳选择是

DPM++ 2M(采样算法)Karras(调度器)，20-30步
UniPC 20-30步

1.2.如果想要高质量的图像，又不在意收敛性，那么以下几种是不错的选择

DPM++ SDE Karras，10-15步(注：这是一种较慢的采样器)
DDIM 10-15步