24最全网最全面的Comfyui工作流原理拆解分析教程!

前言

前言

前面几篇有讲到Comfyui的安装和入门基础的文生图,图生图加上CN和局部重绘的工作流教程,这工作流是基于sd webui的工作流原理跟大家简单讲了Comfyui工作流的基本原理。

今天我们通过拆解组合的方式再稍微深入拓展给大家讲一下Comfyui的工作流原理。

当然也为大家准备了这款绘画神器——comfyui需要的点击👇领取~在这里插入图片描述

一、原理讲解

通过基础的文生图工作流,我们可以拆解成几个部分,通过分析,我们可以得到基础的工作流原理是:模型+提示词+尺寸分辨率设置+采样器+VAE解码+生成的图像。

通过拆解分析后,我们发现,从K采样器这里拆开,之前的模型+提示词+尺寸设置,都汇总到K采样器这个节点,所以可以理解为,在K采样器前的所有条件,都是作为条件组合【输入】给K采样器,通过K采样器汇总采样,输送给VAE解码,最终生成图像。

通过合并,我们总结为以下三个部分,我们把条件输入称为“条件空间模块”,K采样器模块称为“潜空间”,VAE解码生成图像称为“像素空间”,这三个模块组成了Comfyui的完整工作流。

即Comfyui的基础工作流原理=条件空间+潜空间+像素空间

这里有必要说一下,潜空间是整个工作流最核心的节点,整个工作流是通过这个潜空间对前面的条件进行“加工”,这里的加工处理,是对图像的加噪和去噪过程,最终生成符合我们输入条件的图像,而这里的图像还不能直接展示出来,需要通过VAE解码,将潜空间的图像转换成像素空间的图像后才能展示出来。

了解了Comfyui的工作流原理,那如果我们需要给工作流加上Lora和Controlnet,怎么加?我们知道这两个条件是要对图像进行条件的输入,那么是需要加在潜空间模块之前。

在Webui中我们知道,lora是加在正向文本里的,但是在Comfyui,lora有单独的节点,我们双击画布空白处,搜索Lora,就可以找到Lora节点并点击就可以添加到画布。

二、拓展Lora模型链接

如果你想添加多个Lora,可以重复上述步骤添加,也可选中当前lora节点,通过键盘的快捷键Ctrl+C,Ctrl+V进行复制。

然后通过串联的形式,将Checkpoint模型和Lora模型的模型接口对应链接上,将CLIP接口链接上,最后CLIP对应链接到文本编码器(正负提示词节点)即可。对应Lora选择相应模型即可。

三、拓展Controlnet连接

我们知道在webui中,Controlnet是以插件的形式存在的,如果我们是第一次使用Comfyui,需要下载Controlnet模型和对应节点。

  1. 安装Controlnet插件节点:Controlnet_aux插件,通过manager节点管理器搜索点击按钮即可安装,以下截图是已安装完成的。

  2. 下载Controlnet模型,放置在Comfyui的对应模型文件夹下

安装完成后,重启Comfyui,我们就可以在画布空白双击弹窗搜索Controlnet,就可以将节点添加到画布,添加后,我们发现Controlnet的输入连接点是“条件”,那我们需要将他放置在“文本编码器”的后边。

连接条件后,我们发现,Controlnet节点还有两个连接点分别是青色和蓝色的点,我们可以反向拉出来,选择添加Controlnet模型节点和openpose预处理节点,连接添加图像节点。

然后我们添加图像,选择Controlnet模型 sd 1.5 openpose,就可以简单出图了。

通过openpose提取参考图像的姿势,得到一个姿势和参考图一样的新的图像。

通过以上的拆分和讲解,我们基本上了解Comfyui的基础原理,之后自己搭建更加复杂的工作流,基本是按照这个逻辑来进行搭建。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值