【comfyui教程】ComfyUI基础 - 如何通过条件控制生图过程！

最新推荐文章于 2025-03-17 18:49:22 发布
最新推荐文章于 2025-03-17 18:49:22 发布
阅读量1.7k 收藏 15
点赞数 16
文章标签： AIGC comfyui AI作画 人工智能 stable diffusion comfyui教程 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84760527/article/details/143689708
版权

前言

【条件】在整个AI绘画过程中至关重要，适当的条件可以让生图结果事半功倍，在ComfyUI中，【条件】充当了指挥官的角色，画质如何，画风如何，场景如何等等，都可以通过【条件】来进行精准控制。我们以最简文生图工作流为例，简要回顾一下文生图的流程。

可以看到，【CLIP文本编码器】就是一个我们最常见最常用的条件节点，告诉采样过程，我要什么，我不要什么。K采样器就会按照我们的要求进行采样工作，最终生成我们想要的画面。除了【CLIP文本编码器】这个条件节点，我们再来看看其他条件节点。

以上是我们本篇要探讨的节点集合，其他节点如controlnet，我们将在之后更高级阶段进行讲解。在开始之前，我们需要明确一个总原则，就是【条件】在生图工作流中的位置或者角色：在K采样器之前，也就是说在采样之前我们就要把条件设置好。

所有的AI设计工具，安装包、模型和插件，都已经整理好了，👇获取~

在这里插入图片描述

1、CLIP设置停止层

我们先来看下官方对CLIP的解释

CLIP is a very advanced neural network that transforms your prompt text into a numerical representation. Neural networks work very well with this numerical representation and that’s why devs of SD chose CLIP as one of 3 models involved in stable diffusion’s method of producing images. As CLIP is a neural network, it means that it has a lot of layers. Your prompt is digitized in a simple way, and then fed through layers. You get numerical representation of the prompt after the 1st layer, you feed that into the second layer, you feed the result of that into third, etc, until you get to the last layer, and that’s the output of CLIP that is used in stable diffusion. This is the slider value of 1. But you can stop early, and use the output of the next to last layer - that’s slider value of 2. The earlier you stop, the less layers of neural network have worked on the prompt.

翻译成中文就是

CLIP 是一种非常先进的神经网络，可以将提示文本转换为数字表示。神经网络可以很好地处理这种数值表示，这就是为什么 SD 的开发人员选择 CLIP 作为涉及稳定扩散生成图像方法的 3 个模型之一。由于 CLIP 是一个神经网络，这意味着它有很多层。您的提示以简单的方式数字化，然后通过层传递。您在第一层之后获得提示的数字表示，将其输入第二层，将结果输入第三层，依此类推，直到到达最后一层，这就是 stable 中使用的 CLIP 的输出扩散。这是滑块值 1。但是您可以提前停止，并使用倒数第二层的输出 - 即滑块值 2。您停止得越早，处理提示的神经网络层数就越少。

我们将这一段文字翻译成图形化表示

CLIP神经网络有12层，从0到11，上层处理的结果会输入到下一层，逐层处理直到最后一层，深度越深，信息越精准，深度越浅，信息越缺少，CLIP-SKIP是一种提前终止处理的机制，告诉CLIP，我在哪一层终止处理。

我们通过效率节点更深入的理解CLIP-SKIP机制

正面提示词：1 chinese painting, montains, boats, red leaves, waterfall, trees, birds, people,
负面提示词：NSFW,(worst quality:2),(low quality:2),(normal quality:2),lowres,normal quality,((grayscale)),skin spots,acnes,skin blemishes,age spot,(ugly:1.331),(duplicate:1.331),(morbid:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5),blurry,(bad anatomy:1.21),(bad proportions:1.331),extra limbs,(disfigured:1.331),(missing arms:1.331),(extra legs:1.331),(fused fingers:1.61051),(too many fingers:1.61051),(unclear eyes:1.331),lowers,bad hands,missing fingers,extra digit,bad hands,missing fingers,(((extra arms and legs))),(((there are interesting art paintings hanging on the wall)))Frames,decorative paintings,nsfw,

可以发现，随着CLIP层的深入，提示词中物体越来越多，这就验证了“深度越深，信息越精准，深度越浅，信息越缺少”这句话。我们还发现大概在CLIP-SKIP=-4的时候，信息元素基本都出现了。

现在我们知道【CLIP设置停止层】可以影响提示词对最终生图的效果，同时我们也知道CFG值也会影响提示词对最终生图的效果，它们有什么关系？是否相互作用呢？

可以发现，构图没有发生大的变化，只能在图像中看到轻微的变化，CLIP Skip和CFG之间没有直接的相互作用。调整一个参数不会影响另一个参数的效果。

【CLIP设置停止层】影响文本编码的深度，【CFG】影响整个生成过程对文本提示的依赖程度。

【注意】在ComfyUI中，CLIP-SKIP默认为-2，如果没有特殊需求，我们不必理会这个参数。为什么设置为-2，而不是其他值呢？-1是最深层，难道不好吗？-2应该是一个经验值，设置为-1画面会很凝重。

2、条件联结

条件1：1girl, white clothes,
条件2：1dog, red clothes,
【条件联结】在合并提示词的时候，如果存在不同角色，会随机抽取主体角色进行绘制。

3、条件合并

条件1：1girl, white clothes,
条件2：1dog, red clothes,
【条件合并】在合并提示词的时候，如果存在不同角色，会将两个角色进行融合，生成人不人狗不狗的画面。

4、条件平均

【条件平均】的系数为1，第一个条件生效，系数=0，第二个条件生效。介于0和1之间，则两个条件融合生效。

5、unCLIP条件

可以将一种风格或内容从一张图像传递到另一张图像，这在艺术创作和设计中非常有用，也就是说它可以参考其他图像的风格，结合提示词生成参考图风格的画面

需要用到的节点

CLIP视觉加载器：用于加载clip模型，提供学习图像特征基础能力
CLIP视觉编码：学习图像特征引擎
unCLIP条件：将学习到的图像特征输送到正面条件

可以看到，生成的图像和原图的风格是一致的。

6、SVD_图像到视频_条件

安装插件【ComfyUI-VideoHelperSuite】，用于合成图像批次形成视频。

视频路径：ComfyUI_windows_portable_nvidia\ComfyUI\output

7、SZ123条件

【注意】

1、宽高为256

2、俯仰角是垂直方向上的旋转，角度大于0，表示向上旋转，角度小于0，表示向下旋转

3、方位角是水平方向上的旋转，角度大于0，表示向右旋转，角度小于0，表示向左旋转

8、SZ123条件(批次)

这个节点可以按照一定的数值进行角度递增，从而实现批量旋转

这个节点比【SZ123条件】多了俯仰角增量和方位角增量，设置批次大小，就可以批量生成不同角度的图像了。

9、InstructPixToPix条件

这个条件可以让原图主体不变的情况下，改变风格，如下图，女孩出现在下雪场景

提示词：make it snow

flowers,

1、大模型使用cosxl_edit.safetensors

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记
  • …

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇
  • …

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全
  • …

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联
  • …

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势
  • …

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建
  • …

img

由于篇幅原因，本文精选几个章节，详细版点击下方卡片免费领取

在这里插入图片描述

img

ComfyUI 基础教程（二）：文生图基础流程
细节控-AI先行者的博客
12-12 1934
分别将“模型”和“Checkpoint加载器的模型”连接，“正面提示词”和“正面提示词的条件”连接，“负面提示词”和“负面提示词的条件”连接。我们可能注意到，“Checkpoint加载器”还剩下一个“VAE”未连接，我们将它与另一个VAE连接起来。首先，右键点击新建节点，选择加载器。在这个过程中，节点的创建方式有两种：节点目录方式：通过鼠标右键呼出节点目录，你可以直接从目录中选择所需的节点。在生成图像的过程中，你可以看到当前进行到哪一步，哪一个节点会被显示为绿色的框，这非常方便我们熟悉工作流程。
ComfyUI工作流 FluxRedux基础换装
Mr数据杨
02-13 632
该工作流的目标是实现服装换装功能，利用多种深度学习模型和图像处理技术，通过用户输入的服装图像和模特图像，生成逼真的换装效果图。整个工作流涵盖了从图像加载、模型编码、条件生成、到最终换装结果输出的完整处理过程，并支持高分辨率优化和多模型融合，保证了生成效果的真实感与细节还原度。工作流的主要目标是将输入的模特图像与服装图像进行无缝融合，生成高质量、真实感强的换装效果图。整个流程包括图像加载、模型条件生成、扩散建模、图像修复与优化等关键环节，各个节点模块化设计，灵活易用，适合不同场景的换装需求。
什么！还有高手？（AI绘画：ComfyUI的基本安装和使用）
2401_85688943的博客
02-20 987
在之前的笔记中有简单了解了一下职业插画师们是如何将一张草稿转变为一小段CG的，就是通过ControlNet+Gen2的方式。这种方式其实非常简单且好上手，需要的也只是一双会画草稿的手和在Gen2买个订阅不然只能生成25秒。在那会我就提到了另一个东西-ComfyUI，经常用ControlNet的小伙伴估摸着会想起来了，WebUI里面的这个ComfyUI是不是今天要学的那一个。在这里是也可以不是，ComfyUI可以看作是和WebUI一样的AI绘画工具。
【comfyUI教程】节点知识补充和示例（三、CLIP多条件联结Concat,Combine,Average原理和区别）
qazzsq2420的博客
03-24 5084
当我们在comfyUI中想将多个条件联结输入，有Concat,Combine,Average三种节点可选：可以看到他们都是输入两个条件整合后输出一个条件，那么他们都如何使用，在原理上他们有什么区别，各自的适合场景有哪些呢？Conditioning(Concat) 是将两个条件节点串联投入，生成噪声和图像。适合对图画中不同的部分分开表述组合到一起。Conditioning(Combine)是两个不同条件分别生成噪声在融合采样成图像。适合对两个特征不十分冲突的条件效果进行融合。
【大模型开发】最强视觉大模型CLIP解析与案例
最新发布
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-17 920
CLIP（Contrastive Language-Image Pretraining）由 OpenAI 提出，是一种能够学习文本和图像匹配关系的对比学习模型，可以用于零样本图像分类、文本引导的图像检索、视觉问答（VQA）、图像生成增强等多种任务。
comfyui便携版（绿色版）安装CLIP报错no module named ‘CLIP‘
dalaomanzou的博客
04-11 1134
使用这个命令，默认是从pypi这个包管理网站的服务器获取名字是小写的clip，但它又恰好跟openai里的CLIP同名（只是大小写不同），这就导致我们看似安装了对方要求的东西，实际上却没有，因而没法继续后面的流程。这里有一个细节需要注意，它的提示是no module named ‘CLIP’，这里的CLIP是大写的。它跟我们一般情况下碰到的模块缺失报错提示不一样，一般的通常是小写的模块名。这样的形式（以模块化的形式安装到当前便携版的python库里，不会污染全局环境下的python）。
【comfyui教程】ComfyUI零基础入门搭建教程_comfyui clip模型
阿道夫的博客
12-28 1255
ComfyUI 是一个强大的、模块化的界面与后端项目。该用户界面允许用户使用基于图形/节点/流程图的界面设计和执行高级稳定的扩散管道。该项目部分其它特点如下：目前全面支持SD1.xSD2.xSDXLSD3和命令行选项：--lowvram使其在显存小于 1GB 的 GPU 上运行（在显存较低的 GPU 上自动启用）即使没有 GPU，也可以工作：--cpu（慢）可以加载ckpt和。独立 VAE 和 CLIP 模型从生成的 PNG 文件加载完整的工作流程（带有种子）
ComfyUI Checkpoint加载器中CLIP核心机制深度解析（2025量子增强版）
2301_80471322的博客
02-17 584
其量子-生物混合架构正在重塑AIGC的生产范式。2025年的CLIP正在推动生成式AI进入**"意念即现实"**的新纪元，其多模态掌控力已超越传统编程语言的表达边界。：加载SD 3.5-XL模型时，CLIP初始化耗时仅占全流程的12%（H100实测数据）：NVIDIA RTX 6090显卡显存占用减少42%，吞吐量提升3.1倍。在Checkpoint加载器的模型装配环节，CLIP作为。ComfyUI中的CLIP已从单纯的文本编码器进化为。
ComfyUI 详细入门基础教程之（二）：文生图基础流程
qq_41187040的博客
01-23 6946
本节课我们将探索ComfyUI的入门知识，从基础的文本生成图像功能开始。为了方便大家理解，我将使用中文描述节点。和我一样英语不太好的小伙伴，建议查看我之前的教程，安装汉化插件。在深入学习ComfyUI之前，我们先简要回顾一下在使用Web UI进行文本生成图像时所使用的主要功能。这将帮助我们更好地理解ComfyUI的操作原理和流程。在文本生成图像的过程中，我们通常涉及大模型、正向提示词、反面提示词、采样器、步数、宽高以及VAE等关键节点。
【第4章】手动搭建第一个ComfyUI工作流（文生图/搭建/参数/批量移动/节点分组）ComfyUI基础入门教程
聚梦小课堂
06-12 1415
搭建ComfyUI文生图工作流，内容涵盖：AI绘图的工作原理、创建第一个节点，通过实操过程，详细的了解节点上的输入项、输出项、手动输入项的参数含义，并掌握节点的批量移动、节点分组等基础知识...
AI绘画：实例-利用Stable Diffusion ComfyUI实现多图连接：区域化提示词与条件设置
04-04 2930
在Stable Diffusion ComfyUI中，有一种高级技巧可以让用户通过细致的区域化提示词来控制图像的不同部分，从而实现多图连接的效果。这种方法允许艺术家在同一画布上展现多个场景，创造出富有层次和故事性的图像。以下是实现这一效果的详细步骤。
【ComfyUI】ComfyUI停止绘制操作
技术与管理的平衡木-
03-05 232
在绘制过程中，如果N的值大于1，A代表的是提示词。系数N来确定停止的步数，通常停止的步数必须小于生成的步数。下面四张图形分别在不同的系数下停止的效果。在绘制过程中，如果N的值小于1，A代表的是提示词。系数N来确定生成步数*N来确定停止的步数，下面四张图形分别在不同的系数下停止的效果。•如果N小于1，代表了N*迭代步数用于生成第一部分内容，其余的用于生成后面的内容。在当前场景中，A代表先绘制对象提示词，在N步骤后移除提示词，继续绘制。•如果N大于1，代表了前面内容步数生成A的内容。其余部分生成B内容。
AI绘画【ComfyUI】爽玩必备！6大插件汇总推荐
yihanss的博客
10-10 1513
如果你是真正有耐心想花功夫学一门技术去改变现状，我可以把这套AI教程无偿分享给你，包含了。
零基础入门ComfyUI（一）初识ComfyUI
2401_84760322的博客
08-08 5824
AIGC 中文本生成图片的两大阵营，和Midjourney。Midjourney 于 22 年3 月面世，22 年 7 月份的公测 v3 版本火出圈，迅速成为讨论焦点。同年7月Stable Diffusion问世，解决了绘画的细节及效率问题，通过算法迭代将 AI 绘图的精细度提升到了艺术品级别，并将生产效率提升到了秒级，创作所需的设备门槛也被拉到了民用水准，使得消费者级别GPU也可以使用；（你可能血赚，但是老黄绝对不亏）
ComfyUI入门教程
NLP工程化
07-09 2091
本文主要介绍了通过源码运行comfyui，默认例子介绍，节点管理器的使用，以及界面汉化。可多参考开源工作流，多加实践，从而掌握comfyui操作。
ComfyUI学习旅程
weixin_47420447的博客
04-24 1283
首先它很大，这些文件是你从huggingface或者civitai下载而来的，所以这些大文件如 .ckpt 或 .safetensors ，实际上包含了什么内容呢？它包含了包含了三种不同模型的权重：CLIP、主模型和VAE。在默认的ComfyUI工作流中，由这里的CheckpointLoader加载模型到ComfyUI中。你能看到它会有3种输出。
你知道零基础如何学习 ComfyUI？下面手把手教你！
不定期分享ai绘画相关知识~
07-17 1952
ComfyUI是AI绘画软件，其它我就不介绍了，每次都有同学以为我是推销软件卖软件的。这是开源免费的。官网下载 https://github.com/comfyanonymous/ComfyUI0基础开始学 ComfyUI 第一节，有点兴奋的你AI绘画必要的知识，简单的工作原理。理解以下词语：【采样器】【模型】【正面条件】【负面条件】【Latent】【编码】【解码】工作流程简单的说，AI做图就和你在网上买充气玩具是一样的。
ComfyUI学习教程
02-27
<think>嗯，用户之前问了AI绘画参数调优和大模型训练技巧，现在又转向ComfyUI的学习教程。看来他们可能在使用Stable Diffusion的过程中遇到了界面或工作流程的问题，想要更高效或灵活的工具。ComfyUI作为一个节点式的工作流工具，确实比WebUI更复杂，但功能更强大。用户可能需要从基础开始，逐步了解节点连接和参数调整。 首先，用户可能对节点式界面不熟悉，需要解释基本概念，比如节点是什么，如何连接。然后，可能需要分步骤的入门指南，从安装到简单工作流，再到高级技巧。他们可能还关心实际应用案例，比如如何结合ControlNet或LoRA，这些在之前的讨论中已经涉及过，所以需要联系起来，说明如何在ComfyUI中应用这些技术。 另外，用户可能希望了解资源推荐，比如视频教程或社区，这样他们可以自主学习。还要注意用户可能的痛点，比如工作流崩溃或性能优化，需要给出常见问题解答，帮助他们解决问题。最后，确保回答结构清晰，用代码示例和配置说明来增强实用性，同时保持口语化，避免过于技术化的术语，让用户容易理解。</think>以下是为您整理的**ComfyUI深度使用指南**，包含从基础配置到高级工作流的完整知识体系： --- ### **一、核心概念解析** #### **1. 节点式架构优势** - **可视化编程**：通过连接`采样器->解码器->预览`实现完整生成流程 - **模块复用**：保存常用节点组合为`模板.json`文件（支持跨项目调用） - **性能监控**：内置显存占用实时显示（比WebUI节省约15%显存） #### **2. 关键节点说明** | 节点类型 | 功能描述 | 推荐参数 | |---------|----------|----------| | **KSampler** | 采样控制核心 | steps=25, cfg=7.5, sampler=`dpmpp_2m` | | **CLIP Text Encode** | 提示词编码器 | 支持`BREAK`分隔符控制权重 | | **VAE Decoder** | 潜空间解码 | 启用`taesd`加速解码（速度提升3倍） | | **ControlNet Apply** | 多条件控制 | 权重范围0.6-1.2，超过1.5易导致畸变 | --- ### **二、快速入门实战** #### **1. 基础工作流搭建** ```python # 最小化生成流程节点连接 { "nodes": [ {"id": 1, "type": "CheckpointLoaderSimple", "inputs": {"ckpt_name": "v1-5-pruned.safetensors"}}, {"id": 2, "type": "CLIPTextEncode", "inputs": {"text": "masterpiece, (cat:1.2)", "clip": [1,1]}}, {"id": 3, "type": "KSampler", "inputs": {"model": [1,0], "positive": [2,0], "latent_image": [4,0]}}, {"id": 4, "type": "EmptyLatentImage", "inputs": {"width": 512, "height": 512}} ] } ``` #### **2. 参数联动技巧** - **动态分辨率**：连接`Math节点`实现`width = height * 1.618`（黄金比例） - **条件分支**：用`Switch节点`根据step数切换提示词（如step>15时减弱风格强度） #### **3. 工作流调试方法** - **断点测试**：右键点击节点选择`Bypass`临时禁用后续流程 - **数据探针**：在连线处按住`Ctrl`显示中间潜变量状态 --- ### **三、高级应用案例** #### **1. 多ControlNet协同控制 ```json { "nodes": [ {"id": 5, "type": "ControlNetLoader", "inputs": {"control_net_name": "canny.pth"}}, {"id": 6, "type": "ControlNetApply", "inputs": {"conditioning": [2,0], "control_net": [5,0], "image": "canny_edge.png"}}, {"id": 7, "type": "ControlNetLoader", "inputs": {"control_net_name": "openpose.pth"}}, {"id": 8, "type": "ControlNetApply", "inputs": {"conditioning": [6,0], "control_net": [7,0], "image": "pose_image.png"}} ] } ``` - **权重分配**：首个ControlNet建议0.8，后续每个降低0.1-0.2 - **冲突解决**：当姿势与构图冲突时，优先保证`OpenPose`的权重 #### **2. LoRA融合技术 ```python # 加载多个LoRA并进行混合 from nodes import LoraLoader lora1 = LoraLoader().load_lora(model=base_model, lora_name="style1.safetensors", strength=0.7) lora2 = LoraLoader().load_lora(model=lora1[0], lora_name="detail.safetensors", strength=0.3) ``` #### **3. 视频生成工作流 1. 使用`Video Combine`节点连接每帧输出 2. 设置`Interpolate`节点实现帧间补间（推荐RIFE算法） 3. 通过`FFmpeg`节点导出为MP4（CRF值设为18-23） --- ### **四、性能优化方案** #### **1. 显存管理技巧** - **分块加载**：对超过1024x1024的图像启用`Tile VAE` - **模型卸载**：设置`--lowvram`模式自动清理未使用模型 #### **2. 加速渲染参数** ```yaml # 启动参数优化（NVIDIA显卡） --force-fp16 --opt-split-attention --opt-sub-quadratic ``` #### **3. 分布式工作流** - 将`生成->超分->后处理`分配到不同GPU执行 - 用`Queue`节点实现异步流水线 --- ### **五、常见问题排错** | 异常现象 | 解决方案 | |---------|----------| | 节点连线混乱 | 按`Ctrl+Shift+A`自动排列布局 | | 工作流崩溃 | 检查节点版本兼容性（尤其ControlNet相关节点）| | 输出全黑图 | 确认VAE模型与主模型匹配 | | 提示词失效 | 检查CLIP跳过层数（建议2-4层）| --- ### **六、学习资源推荐** - **官方文档**：[ComfyUI GitHub Wiki](https://github.com/comfyanonymous/ComfyUI/wiki) - **视频教程**：B站搜索"ComfyUI节点式大师课" - **模板仓库**：[ComfyUI-Examples](https://github.com/comfyanonymous/ComfyUI_examples) - **社区支持**：加入Discord官方频道获取实时帮助 --- 如果需要具体工作流模板（如动画生成/模型融合/批量处理），可提供您的应用场景，我将给出针对性配置方案！ 🎨
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值