ComfyUI 基本原理

最新推荐文章于 2025-08-09 19:59:06 发布
原创 最新推荐文章于 2025-08-09 19:59:06 发布 · 1.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能

Webui vs Comfyui

Comfyui 和 Webui 都是基于 Stable Diffusion 开发，实现文生图、图生图、ControlNet 控制、高清放大、局部重绘、Animatediff 生成视频等

  • Webui 具有整合好的可视化界面，可以在浏览器上对各个参数进行点击、选择，学习成本低
  • Comfyui 是一个基于节点式的操作流程，没有固定的整合使用界面，一个个被线连接的节点，构成一个从输入到输出的完整工作流程
    • 相比于 Webui 只能按照预设好的方式，调节有限的参数来进行一个固定的流程生成，ComfyUI 自由度和灵活性很高，可以进行各种功能的节点自由组合
    • 同时，有很多在线版ComfyUI，例如 LiblibAI 等（LiblibAI 默认预安装了非常多的节点插件，以及模型库，各种模型不需要下载，但是使用的是平台的计算资源，需要排队，而且有使用次数限制，需要付费）

基本原理

  • 节点系统：ComfyUl通过一个基于节点的图形界面来操作，每个节点代表图像生成过程中的一个步骤，如加载模型、文本编码、图像采样等
  • 工作流执行：用户通过连接这些节点来建立一个完整的工作流，每个节点的输出可以连接到其他节点的输入，形成一个数据处理流，图像生成过程遵循这些节点连接定义的路径执行
  • 模型和数据处理：它支持多种类型的模型和数据处理节点，如CLP模型节点用于文本处理，KSampler节点用于图像采样和噪声去除，VAE节点用于图像与潜在空间的转换等
  • 异步队列系统：comfyUl内置了一个异步队列系统，可以优化和管理图像生成任务，提高效率和性能

工作流 Pipeline

新建一个工作流，默认是文生图工作流，从左到右分别是：条件输入模块、潜空间、像素空间

基本逻辑：首先选择一个大模型，输入正向提示词和负向提示词，指定生成图片的输出分辨率，然后进入整个工作流的核心节点，K采样器，就是潜空间模块，K采样器根据前面的条件输入模块的要求，通过不断加噪去噪的过程，生成符合要求的图片，通过VAE解码这个节点，把潜空间的图像最终转为像素空间的图像

  • 其中，提示词内容可以大致分为两大类，分别是细节描述和生图标准：

    • 细节描述主要是对整体画面内容进行书写，主要分为人物主体特征，例如：服饰，发色，五官，面部，动作...，以及场景特点，例如：室内环境，室外环境，整体场景的描述，内部细节的描述等等；还有场景设定，像是：白天，夜晚，天气，光线方向等，同时也可以在前面加入一些形容词，例如beautiful，happy，让整个画面的描述带有一定的感情色彩
    • 生图标准主要是指对于有关图片质量产出的标准进行提示词书写，主要为画质，例如8K，高分辨率，清晰等提示词，以及画风，例如动漫，彩绘，写实，抽象等决定画面风格的提示词
    • 负向提示词，它决定着不希望画面中出现什么内容，例如低画质，额外的脚，缺少手指等等，然后再根据图片产出重新将不希望出现的画面加入负向提示词中

  • 双击空白部分，就可以添加组件，例如添加 LoRA、ControlNet 等

    • 首先需要确定，LoRA节点和ControlNet节点应该放置在哪个模块里，LoRA模型和ControlNet控制都属于限制最终图像生成的前置条件，所以肯定是要在条件输入模块里添加的，双击空白部分，添加LoRA加载器，LoRA实际上就是大模型的微调模型，依附在大模型上，所以只需要把 LoRA 加载器串联在大模型后面即可
    • 可以观察到，不同节点之间接口颜色和名称不同，不同颜色的接口是不能相互连接的，把相同颜色的接口对接一下，直接连起来，然后选择下载好的LoRA模型，这里选择的是卡通的LoRA风格，这样就把LoRA加载进来了，在LoRA加载器还可以调整LoRA模型的权重值

  • 添加 ControlNet 首先需要安装ControlNet的插件和下载各个ControlNet控制器的模型，然后双击空白部分，添加ControlNet应用节点，看到它的前置输入接口是条件，在工作流里找到正向提示词后面有一个条件接口，那么ControlNet应用节点是放置在正向提示词后面的，放在正向提示词后面串联起来。条件接口的下面还有ControlNet和图像两个接口
  • 在ControlNet接口前面接入ControlNet加载器，用于加载ControlNet模型，例如这里选择的是Openpose的姿态模型，模型有了以后，还需要给ControlNet指定一个姿态的图片，首先在图像接口接上一个Openpose姿态预处理器，然后添加一个图片节点，这样ControlNet模块就部署好了

  • 修改一下正向提示词、输出图像的分辨率、调整采样步数等参数，就可以生成一张同款姿态的卡通图片了～

大部分工作流都是相同的运行逻辑！大多数天马行空的想法都能通过一个一个节点相互连接来实现～

ComfyUI 源码分析

这个文章写的很详细：

ComfyUI源码分析-NODE RUNTIME TRACE - 知乎

[AI] [ComfyUI]理解ComyUI的基本原理及其图像生成技术
技术就是小甜甜博客
02-23 443
潜在空间（Latent Space）是指数据压缩后的低维空间。在图像生成中，潜在空间的引入极大地提高了生成效率。通过对高维的图像数据进行映射，生成网络能够在这个低维空间中进行操作，而不需要直接在高维像素空间中进行复杂的计算。这不仅加速了生成过程，还使得模型可以在计算资源有限的本地环境中运行，避免了依赖庞大服务器集群的需求。ComyUI通过潜在空间、VAE编码器解码器模块、噪声处理和CLIP编码器等技术手段实现了高效的图像生成。潜在空间的引入使得图像生成更加高效，并且可以实现本地部署。
实战指南：节点式工作流框架 ComfyUI
最新发布
举世誉之而不加劝，举世非之而不加沮，定乎内外之分，辩乎荣辱之境，斯已矣。
09-27 1015
ComfyUI 是一款基于节点式工作流的 Stable Diffusion 图形界面工具，支持模块化构建图像生成流程，具有轻量高效、可扩展性强等特点。安装需配置 Python 环境并安装依赖，启动后通过浏览器访问。模型可从多个平台下载，需放入指定目录。教程演示了使用不同模型和提示词生成图像的流程，包括模板选择、参数调整等操作。
ComfyUI基本原理与源码解析
weixin_43837507的博客
03-03 1752
ComfyUI 是一个基于 Stable Diffusion 的 Node-based（基于节点流）的可视化界面，它允许用户通过模块化的方式构建、调整和执行 AI 生成流程。相较于传统的文本输入式 Stable Diffusion 界面，ComfyUI 采用了 节点图（Graph-based UI），使得整个 AI 生成流程更加透明、灵活，并便于调试和优化。
ComfyUI出图原理
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-10 2173
因为comfyUI是基于workflow工作流的，就是将要完成的任务进行分解，然后一个个节点配置起来，如果你不懂的工作原理，别人分享的工作流你也只仅仅只能使用，想自己微调的话难度就大了。本文主要讲解工作流基本原理，让你对工作流在框架层面有大致认识。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 6524
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
AI绘画ComfyUI超简单工作原理介绍
m0_59162248的博客
04-22 2682
这篇是我学习整理过介绍stable diffusion底层工作原理最简单易懂的，并且我发现使用comfyUI和这个工作原理解读的非常匹配，我相信你一看就能理解。 之所以把这篇放在教程的开头几篇介绍，是为了让大家能更好的入门comfyUI，上一篇也介绍了过了，comfyUI学习门槛更难一点，需要大家对底层原理有一点的了解，这篇的话就是给大家打地基用的，弄懂了原理再去学习工作流，你会发现得心应手，事半功倍，整体提效至少50%。
24最全网最全面的Comfyui工作流原理拆解分析教程！
2401_84760527的博客
09-19 3097
前言前面几篇有讲到Comfyui的安装和入门基础的文生图，图生图加上CN和局部重绘的工作流教程，这工作流是基于sd webui的工作流原理跟大家简单讲了Comfyui工作流的基本原理。今天我们通过拆解组合的方式再稍微深入拓展给大家讲一下Comfyui的工作流原理。
ComfyUI系列教程(1)--Stable Diffusion基本原理
Liangyq_cuc的博客
08-13 1621
ComfyUI系列教程 Stable Diffusion基本原理
文生图工具之ComfyUI从原理到实践的全维度剖析
搏博的专栏
08-09 1376
ComfyUI 支持通过 Python 脚本开发自定义节点，扩展其功能（如添加图像滤镜、接入外部 API）。
ComfyUI 中模型文件降噪的原理
NAN的博客
06-10 1333
而降噪（Denoising）是扩散模型的核心过程。简单来说，降噪就是“把一张满是噪点的图片，一步步变清晰”的过程。：想象你有一张被沙尘覆盖的老照片（噪声图），ComfyUI 的模型就像一个“智能修复师”，它根据你的描述（如“画面中有一只猫”），一步步扫除沙尘（降噪），最终还原清晰照片。直接处理高清图像计算量太大，ComfyUI 通过编码器（如 VAE）将图像压缩到低维潜空间，大幅降低资源需求 ``。：潜空间降噪是 ComfyUI 的核心优化，证据指出“在潜空间内执行前向扩散和反向降噪过程”
【AI绘画】Comfyui工作流原理拆解分析
HJS123456780的博客
09-11 2426
大家好，我是写编程的木木。前面几篇有讲到Comfyui的安装和入门基础的文生图，图生图加上CN和局部重绘的工作流教程，这工作流是基于sd webui的工作流原理跟大家简单讲了Comfyui工作流的基本原理。今天我们通过拆解组合的方式再稍微深入拓展给大家讲一下Comfyui的工作流原理。
ComfyUI系列教程零基础部署到入门学习-教程篇
weixin_59486588的博客
05-08 3441
ComfyUI 是一个为专门设计的基于节点的图形用户界面（GUI）。它使用户能够通过链接不同的块（称为节点）来构建复杂的图像生成工作流程。这些节点可以包括各种任务，如加载检查点模型、输入提示、指定采样器等。它实际上就是一个比较专业的 Stable Diffusion 运行界面，只不过是节点式的。这种节点式界面其实广泛的存在于各种专业的生产力工具中，例如Blender虚幻引擎达芬奇等。GitHub -官方介绍：​github.com/comfyanonymous/ComfyUI?
免费开源的AI绘画工具ComfyUI，让AI作画变得简单又快捷
m0_59162559的博客
11-22 1656
大家好！今天我要给大家介绍一个特别酷的东西——ComfyUI。你可能没听过这个名字，但相信我，一旦你了解了它，你一定会爱上它的。简单来说，它是一个基于节点的，专为StableDiffusion设计。听起来有点复杂？别担心，我会解释得简单易懂。想象一下，你有一个可以创造出无限可能的艺术工具，它能帮助你快速、流畅地生成图像。这个工具不仅对高配置的设备友好，甚至能在低配置的设备上也能运行得很好。这就是ComfyUI的魅力所在。而且，最棒的是，ComfyUI是开源的，完全免费！
ComfyUI入门教程 -- 操作界面介绍(基于官方桌面版)
ice_99的博客
12-14 2319
ComfyUI入门教程 -- 操作界面介绍(基于官方桌面版)
全网最全comfyui工作流保姆级教程来啦！comfyui工作流搭建看这一篇就够了
m0_59162559的博客
11-23 4908
该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。K采样器是SD出图流程中的核心节点，所有节点载入，数据输入，参数配置，最后都会汇总到K采样器，它会结合载入的模型，提示词的输入以及Latent输入，进行采样计算，输出得到最终图像。
Stable Diffusion | SD的老舅ComfyUI来了，节点式工作流，分部控制出图
libaiup的博客
01-09 1147
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI，界面版块基本和stable diffusion一样，只是每个版块被拆分成节点，可以灵活控制连接，这样的工作流和完善的可复现性，用户可以精准的控制每个版块的设置，达到控制变量的目的，但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。方便大家看，我把板块调整为竖版，有一定SD基础的同学可以看到这其实就是SD的界面板块打散：1.上限高，更适合复杂长线的大型工作。
AI绘画ComfyUI | 圈内人都在用的免费工作流网站
2401_85725028的博客
07-24 2469
支持上传、下载、在线生成工作流，下载工作流是免费的，但在线生成需付费，免费账户有50个积分，加入其 Discord 可再加100积分（均为一次性），开通每月6美元的套餐后有5000积分/月（需要科学上网）当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
1. ComfyUI介绍与下载
weixin_40964597的博客
09-24 2600
Stable Diffusion是一款免费、开源的图像生成工具，自2022年8月推出以来便受到了广泛关注，到2024年2月Stable Diffusion3早期预览版发布，在图片质量，多主题提示和单词拼写等方面有巨大提升。区别于WebUI的固定操作模式，ComfyUI将图像生成流程拆解为不同的节点，每个节点执行特定的操作，节点之间通过输入和输出相互连接。发布地址：https://www.bilibili.com/video/BV1Ew411776J/无论是方式1还是方式2都是免安装解压即用。
【comfyui教程】Stable Diffusion | SD的老舅ComfyUI来了，节点式工作流，分部控制出图_sd comfyui 工作流
阿道夫的博客
12-26 1050
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI，界面版块基本和stable diffusion一样，只是每个版块被拆分成节点，可以灵活控制连接，这样的工作流和完善的可复现性，用户可以精准的控制每个版块的设置，达到控制变量的目的，但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。
comfyui
03-08
### ComfyUI简介 ComfyUI是一个用于创建和管理图形界面应用程序的框架，旨在简化开发流程并提高效率[^1]。该平台支持多种插件扩展功能，如ComfyUI-Manager、ComfyUI-Translation语言包、Insightface人脸识别组件、ComfyUI-Crystools资源监测器以及ComfyUI-Custom-Scripts实用工具等。 ### 安装指南 对于希望快速上手的新用户而言，官方提供了最新的ComfyUI整合包下载选项[^3]。此整合包已预先集成了所有必要的依赖项与配置文件，只需解压缩至本地磁盘中的指定目录下便能立即启动应用。随附有详尽的文字版安装手册供查阅参考，确保每位使用者都能顺利建立起运行环境。 具体操作如下所示： ```bash # 下载链接通常位于官方网站首页显著位置 wget https://example.com/path/to/comfyui-latest.zip unzip comfyui-latest.zip -d /your/preferred/directory/ cd /your/preferred/directory/ # 阅读README.md获取更多细节指导 cat README.md ``` ### 使用教程 初次接触ComfyUI的朋友可能会对其工作原理感到陌生，在这种情况下建议先观看一些入门级的教学视频或阅读图文资料来熟悉基本概念和常用命令。随着实践次数增多自然会逐渐掌握更高级的功能特性。 例如，当涉及到特定节点的操作时（比如Reactor Node），可参照专门针对此类情况编写的文档来进行学习[^2]。这些材料往往涵盖了从基础设置到复杂场景下的应对策略等多个方面，有助于加深理解程度的同时也能够有效减少错误发生的概率。 ### 常见问题及解决方案 面对可能出现的技术难题，除了利用搜索引擎查找相似案例外还可以尝试访问社区论坛寻求帮助或是直接联系技术支持团队获得专业的解答和支持服务。另外，定期关注项目仓库里的Issues页面也是不错的选择之一——这里不仅记录着其他开发者曾经遭遇过的挑战及其对应的处理办法，有时甚至还能提前了解到即将推出的改进措施呢！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值