最近SD的大更新比较少,所以最近转战到ComfyUI,从流程节点,到工作流搭建,使用ComfyUI实现webui的大部分功能,且节点的定义性很强,这就造就了ComfyUI的多样性,但是不得不承认,多节点之间的搭配,是否符合整个底层流程,通过一个工作流实现多节点插件的配合工作是比较复杂的,而ComfyUI不近支持GPU还支持CPU,大大降低了使用门槛,在显存占用方面明显低于webui,实际测试中,出图分辨率在2160\*1260 下跑视频22S仍然不会爆显存,都在说比webui有更好的内存管理功能,但是我没有找到理论知识点证明这一点。
下方领取1000张comfyui工作流
ComfyUI
最强大和模块化的稳定扩散 GUI、api 和后端,带有图形/节点接口
特征
-
节点/图形/流程图界面,用于实验和创建复杂的稳定扩散工作流程,而无需编写任何代码。
-
完全支持 SD1.x、SD2.x 和 SDXL
-
异步队列系统
-
许多优化:仅重新执行在执行之间更改的工作流部分。
-
命令行选项:使其在vram小于3GB vram的GPU上运行(在具有低vram的GPU上自动启用)
--lowvram
-
即使您没有具有以下功能的 GPU,也可以正常工作
-
可以加载 ckpt、安全张量和扩散器模型/检查点。独立的VAE和CLIP型号。
-
Embeddings/Textual inversion
-
从生成的 PNG 文件加载完整的工作流。
-
将工作流保存/加载为 JSON 文件。
-
节点界面可用于创建复杂的工作流程,例如用于高清修复或更高级的工作流程。
-
常规模型和修复模型
-
启动速度非常快。
-
完全离线工作:永远不会下载任何内容。
劣势:
-
操作门槛高,需要有清晰的逻辑;
-
生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。
安装
链接:https://pan.quark.cn/s/320387279505
下载官方整合包到本地,解压到非C盘路径,如果你已经安装了SD,webui那真是太好了,省去了大部分的基础环境安装,解压缩文件夹。重命名根目录文件夹为Comfyuiwindows即可。
各模型存放位置
大模型放入“ComfyUI_windows_portable\ComfyUI\models\checkpoints”``VAE 模型放入“ComfyUI_windows_portable\ComfyUI\models/vae”``Lora 模型“ComfyUI_windows_portable\ComfyUI\models/loras”
但如果你已经安装过SDWEBUI,这不需要放置任何模型到文件夹,我们可以与WEBUI共享文件夹,这真的很nice。
打开根目录下的
extra_model_paths.yaml.example
文件,右键修改为
extra_model_paths.yaml
修改basepath为你SDwebui的根路径即可
如何更新
在update文件夹下点击就可
如何下载插件
跟我们日常下载SD的插件方式一样,个人分为3种,但记住一种:只有显示了可卸载的才是成功安装的
第一种下载一个管理插件的插件
叫做manager,以后所有的插件可以在这个插件内进行管理
第一个最简单的工作流
这可以看做一个简单的最为基础的工作流,而所有的工作流是在这个基础上可扩展的,可以自定义节点流程加载。
当我们想要构建一副脑海中的画面,我们先构思画面来书写提示词,下面我们会专门介绍关于提示词部分的书写,然后由模型解析文本,反推汉字或者文本到Clip学习,接着由U-Net端到端的生成图片,然后由VAE来上色,那么一个简单的绘画流程就完成了,这个图片由噪点逐步变为清晰的过程,我们称之为扩散。
其中clip一共有12层2表示在倒数第二层停止处理,通常不能超过6当参考层的深度浅且在这个阶段就被跳过时,传递的信息量也会减少,最终以不准确的信息噪声影响生成的图像,以认为Clip Skip和CFG Scale之间没有相互作用,它们是完全不同的东西。
汉化
虽然有汉化插件,但真的真的真的不建议大家汉化,大部分的功能如果已经在SD熟悉的话,我建议不要汉化,很多含义都会产生歧义
插件下载后再小齿轮点击语言切换为中文简体即可
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取