ComfyUI 基本原理

最新推荐文章于 2025-03-13 10:33:33 发布
最新推荐文章于 2025-03-13 10:33:33 发布
阅读量981 收藏 8
点赞数 16
分类专栏： # AI 训练与推理框架 AI 系统与算法部署 文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daydayup858/article/details/144210690
版权

Webui vs Comfyui

Comfyui 和 Webui 都是基于 Stable Diffusion 开发，实现文生图、图生图、ControlNet 控制、高清放大、局部重绘、Animatediff 生成视频等

  • Webui 具有整合好的可视化界面，可以在浏览器上对各个参数进行点击、选择，学习成本低
  • Comfyui 是一个基于节点式的操作流程，没有固定的整合使用界面，一个个被线连接的节点，构成一个从输入到输出的完整工作流程
    • 相比于 Webui 只能按照预设好的方式，调节有限的参数来进行一个固定的流程生成，ComfyUI 自由度和灵活性很高，可以进行各种功能的节点自由组合
    • 同时，有很多在线版ComfyUI，例如 LiblibAI 等（LiblibAI 默认预安装了非常多的节点插件，以及模型库，各种模型不需要下载，但是使用的是平台的计算资源，需要排队，而且有使用次数限制，需要付费）

基本原理

  • 节点系统：ComfyUl通过一个基于节点的图形界面来操作，每个节点代表图像生成过程中的一个步骤，如加载模型、文本编码、图像采样等
  • 工作流执行：用户通过连接这些节点来建立一个完整的工作流，每个节点的输出可以连接到其他节点的输入，形成一个数据处理流，图像生成过程遵循这些节点连接定义的路径执行
  • 模型和数据处理：它支持多种类型的模型和数据处理节点，如CLP模型节点用于文本处理，KSampler节点用于图像采样和噪声去除，VAE节点用于图像与潜在空间的转换等
  • 异步队列系统：comfyUl内置了一个异步队列系统，可以优化和管理图像生成任务，提高效率和性能

工作流 Pipeline

新建一个工作流，默认是文生图工作流，从左到右分别是：条件输入模块、潜空间、像素空间

基本逻辑：首先选择一个大模型，输入正向提示词和负向提示词，指定生成图片的输出分辨率，然后进入整个工作流的核心节点，K采样器，就是潜空间模块，K采样器根据前面的条件输入模块的要求，通过不断加噪去噪的过程，生成符合要求的图片，通过VAE解码这个节点，把潜空间的图像最终转为像素空间的图像

  • 其中，提示词内容可以大致分为两大类，分别是细节描述和生图标准：

    • 细节描述主要是对整体画面内容进行书写，主要分为人物主体特征，例如：服饰，发色，五官，面部，动作...，以及场景特点，例如：室内环境，室外环境，整体场景的描述，内部细节的描述等等；还有场景设定，像是：白天，夜晚，天气，光线方向等，同时也可以在前面加入一些形容词，例如beautiful，happy，让整个画面的描述带有一定的感情色彩
    • 生图标准主要是指对于有关图片质量产出的标准进行提示词书写，主要为画质，例如8K，高分辨率，清晰等提示词，以及画风，例如动漫，彩绘，写实，抽象等决定画面风格的提示词
    • 负向提示词，它决定着不希望画面中出现什么内容，例如低画质，额外的脚，缺少手指等等，然后再根据图片产出重新将不希望出现的画面加入负向提示词中

  • 双击空白部分，就可以添加组件，例如添加 LoRA、ControlNet 等

    • 首先需要确定，LoRA节点和ControlNet节点应该放置在哪个模块里，LoRA模型和ControlNet控制都属于限制最终图像生成的前置条件，所以肯定是要在条件输入模块里添加的，双击空白部分，添加LoRA加载器，LoRA实际上就是大模型的微调模型，依附在大模型上，所以只需要把 LoRA 加载器串联在大模型后面即可
    • 可以观察到，不同节点之间接口颜色和名称不同，不同颜色的接口是不能相互连接的，把相同颜色的接口对接一下，直接连起来，然后选择下载好的LoRA模型，这里选择的是卡通的LoRA风格，这样就把LoRA加载进来了，在LoRA加载器还可以调整LoRA模型的权重值

  • 添加 ControlNet 首先需要安装ControlNet的插件和下载各个ControlNet控制器的模型，然后双击空白部分，添加ControlNet应用节点，看到它的前置输入接口是条件，在工作流里找到正向提示词后面有一个条件接口，那么ControlNet应用节点是放置在正向提示词后面的，放在正向提示词后面串联起来。条件接口的下面还有ControlNet和图像两个接口
  • 在ControlNet接口前面接入ControlNet加载器，用于加载ControlNet模型，例如这里选择的是Openpose的姿态模型，模型有了以后，还需要给ControlNet指定一个姿态的图片，首先在图像接口接上一个Openpose姿态预处理器，然后添加一个图片节点，这样ControlNet模块就部署好了

  • 修改一下正向提示词、输出图像的分辨率、调整采样步数等参数，就可以生成一张同款姿态的卡通图片了～

大部分工作流都是相同的运行逻辑！大多数天马行空的想法都能通过一个一个节点相互连接来实现～

ComfyUI 源码分析

这个文章写的很详细：

ComfyUI源码分析-NODE RUNTIME TRACE - 知乎

[AI] [ComfyUI]理解ComyUI的基本原理及其图像生成技术
技术就是小甜甜博客
02-23 147
潜在空间（Latent Space）是指数据压缩后的低维空间。在图像生成中，潜在空间的引入极大地提高了生成效率。通过对高维的图像数据进行映射，生成网络能够在这个低维空间中进行操作，而不需要直接在高维像素空间中进行复杂的计算。这不仅加速了生成过程，还使得模型可以在计算资源有限的本地环境中运行，避免了依赖庞大服务器集群的需求。ComyUI通过潜在空间、VAE编码器解码器模块、噪声处理和CLIP编码器等技术手段实现了高效的图像生成。潜在空间的引入使得图像生成更加高效，并且可以实现本地部署。
ComfyUI基本原理与源码解析
weixin_43837507的博客
03-03 1015
ComfyUI 是一个基于 Stable Diffusion 的 Node-based（基于节点流）的可视化界面，它允许用户通过模块化的方式构建、调整和执行 AI 生成流程。相较于传统的文本输入式 Stable Diffusion 界面，ComfyUI 采用了 节点图（Graph-based UI），使得整个 AI 生成流程更加透明、灵活，并便于调试和优化。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5102
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
超详细！ComfyUI 全方位入门指南，初学者必看，附多个实践操作
最新发布
m0_71745754的博客
03-13 634
ComfyUI 是一个基于节点的 GUI，为 Stable Diffusion 提供了一种更加直观、灵活的方式来操作和管理生成的过程。通过将不同的模块（也就是节点）组合在一起，我们可以构建一个图像生成的工作流。由于 ComfyUI 基于节点架构运作，其中界面元素被表示为相互连接的节点。每个节点都封装了特定的功能或行为，从而实现模块化和可扩展的界面开发。为了扩展 ComfyUI 的功能，开发者可以根据项目需求创建自定义节点。
免费开源的AI绘画工具ComfyUI，让AI作画变得简单又快捷
m0_59162559的博客
11-22 1360
大家好！今天我要给大家介绍一个特别酷的东西——ComfyUI。你可能没听过这个名字，但相信我，一旦你了解了它，你一定会爱上它的。简单来说，它是一个基于节点的，专为StableDiffusion设计。听起来有点复杂？别担心，我会解释得简单易懂。想象一下，你有一个可以创造出无限可能的艺术工具，它能帮助你快速、流畅地生成图像。这个工具不仅对高配置的设备友好，甚至能在低配置的设备上也能运行得很好。这就是ComfyUI的魅力所在。而且，最棒的是，ComfyUI是开源的，完全免费！
全网最全comfyui工作流保姆级教程来啦！comfyui工作流搭建看这一篇就够了
m0_59162559的博客
11-23 3738
该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述 ，AI绘画的应用领域 ，PAI绘画与传统绘画的区别 ，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。K采样器是SD出图流程中的核心节点，所有节点载入，数据输入，参数配置，最后都会汇总到K采样器，它会结合载入的模型，提示词的输入以及Latent输入，进行采样计算，输出得到最终图像。
AI绘画ComfyUI | 圈内人都在用的免费工作流网站
2401_85725028的博客
07-24 2110
支持上传、下载、在线生成工作流，下载工作流是免费的，但在线生成需付费，免费账户有50个积分，加入其 Discord 可再加100积分（均为一次性），开通每月6美元的套餐后有5000积分/月（需要科学上网）当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
Stable Diffusion | SD的老舅ComfyUI来了，节点式工作流，分部控制出图
libaiup的博客
01-09 854
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI，界面版块基本和stable diffusion一样，只是每个版块被拆分成节点，可以灵活控制连接，这样的工作流和完善的可复现性，用户可以精准的控制每个版块的设置，达到控制变量的目的，但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。方便大家看，我把板块调整为竖版，有一定SD基础的同学可以看到这其实就是SD的界面板块打散：1.上限高，更适合复杂长线的大型工作。
ComfyUI出图原理
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-10 1938
因为comfyUI是基于workflow工作流的，就是将要完成的任务进行分解，然后一个个节点配置起来，如果你不懂的工作原理，别人分享的工作流你也只仅仅只能使用，想自己微调的话难度就大了。本文主要讲解工作流基本原理，让你对工作流在框架层面有大致认识。
AI绘画本地部署教程及原理简介（ComfyUI+flux.1）
qq_43384376的博客
09-25 934
扩散模型是文生图工作流的关键。Stable Diffusion通过大量的图片和文本数据训练，将图片压缩成关键特征的表示，并将文本标签转化为计算机能理解的形式。在这个过程中，它建立了一个内部的、用于存储和处理这些数据的空间latent space（潜在空间）。在这个空间里，图片的特征和文本标签以一种压缩和转化后的形式相互对应，使得模型能够基于文本描述生成或理解图像内容。
ComfyUI 完全入门：ControlNet
程序员，AI探索者
06-21 1559
很多同学对ComfyUI可能还不太了解，我这里做一个简单的介绍。在AI绘画领域，Stable Diffusion 因其开源特性而受到广泛的关注和支持，背后聚拢了一大批的应用开发者和艺术创作者，是AI绘画领域当之无愧的王者。目前使用 Stable Diffusion 进行创作的工具主要有两个：Stable Diffusion WebUI 和 ComfyUI。
1. ComfyUI介绍与下载
weixin_40964597的博客
09-24 1581
Stable Diffusion是一款免费、开源的图像生成工具，自2022年8月推出以来便受到了广泛关注，到2024年2月Stable Diffusion3早期预览版发布，在图片质量，多主题提示和单词拼写等方面有巨大提升。区别于WebUI的固定操作模式，ComfyUI将图像生成流程拆解为不同的节点，每个节点执行特定的操作，节点之间通过输入和输出相互连接。发布地址：https://www.bilibili.com/video/BV1Ew411776J/无论是方式1还是方式2都是免安装解压即用。
【comfyui教程】Stable Diffusion | SD的老舅ComfyUI来了，节点式工作流，分部控制出图_sd comfyui 工作流
阿道夫的博客
12-26 840
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI，界面版块基本和stable diffusion一样，只是每个版块被拆分成节点，可以灵活控制连接，这样的工作流和完善的可复现性，用户可以精准的控制每个版块的设置，达到控制变量的目的，但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。
【comfyui教程】Stable Diffusion | SD的老舅ComfyUI来了，节点式工作流，分部控制出图
2401_84760719的博客
12-17 1240
ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI，界面版块基本和stable diffusion一样，只是每个版块被拆分成节点，可以灵活控制连接，这样的工作流和完善的可复现性，用户可以精准的控制每个版块的设置，达到控制变量的目的，但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。
Stable Diffusion教程：老照片翻新修复上色！
2401_84760527的博客
07-24 1006
你家里是不是有这样的老旧照片？满满的承载了儿时的回忆，但是随着岁月的流逝，已经模糊不清。想要修复老照片，并让照片恢复往日光彩，去某宝查了下价格要 200 起步。好家伙真贵啊，但现在可是 AI 时代，对于 AI 来说这都是小菜一碟。本文涉及的工作流和插件，需要的朋友请扫描免费获取哦一、用 ComfyUI 一键修复老照片ComfyUI 是基于 Stable Diffusion 内核的一款基于图形/节点/流程图的界面设计 AI 绘图生产力工具，其特点是一个流程图设计完成，就能共享给其他人使用。
ComfyUI入门教程 -- 操作界面介绍(基于官方桌面版)
ice_99的博客
12-14 1978
ComfyUI入门教程 -- 操作界面介绍(基于官方桌面版)
不用翻墙，手把手教你用MAC本地版免费ComfyUI搭建Stable Diffusion工作流，让出图效率起飞
2401_85688943的博客
06-27 3653
Comflowy是一款专为简化和增强AI图像及视频生成工具使用体验而设计的开源软件，基于ComfyUI和Stable Diffusion，提供Windows和Mac客户端，个人可免费使用。相比SD WebUI和ComfyUI的上手难度，Comflowy提供了更友好的体验，即使是没有技术背景的用户也能够轻松上手，让更广泛的设计师用户利用AI技术进行图像和视频的生成。需要注意的是MAC用户需要配置M1以上的芯片，16G内存以上（Intel芯片用户和内存不够的设备建议使用线上版）。
第十七：ComfyUI详细部署教程和使用
欢迎来到本博客！
10-18 2335
【代码】ComfyUI详细部署教程和使用。
AI绘画 | ComfyUI最新整合包发布！解压即用 一键启动
m0_59236602的博客
10-16 1177
大家好呀！我是木木~今天我要和大家分享秋叶大神刚刚最新发布的ComfyUI整合包及安装指南。ComfyUI是一个非常便利的AI绘画工具，拥有节点式和工作流式的AI绘画界面，并支持多种节点的使用。秋叶大神发布ComfyUI整合包主要是为了改善国内ComfyUI的入门生态，使新手更轻松入门。尽管ComfyUI以其高度可定制和自定义的编辑方式而受到广泛使用，但对于新手来说却具有一定的难度。此外，快速的更新速度、不兼容的更新、以及社区化松散等问题也给新手带来了一些困扰。因此，秋叶大神发布了ComfyUI整合包，为新
comfyui 教程
06-03
ComfyUI是一款适用于快速开发Android界面的UI库，它采用了类似于HTML和CSS的思想，使用XML文件定义界面，使用Java代码处理界面逻辑。ComfyUI的特点是简单易用、灵活性强、扩展性好，可以帮助开发者快速构建出漂亮、流畅、具有交互性的Android界面。ComfyUI提供了丰富的控件和布局，可以满足大部分应用程序的需求。 关于ComfyUI的教程，可以通过官网（https://www.comfyui.com）或者GitHub（https://github.com/ComfyUI/ComfyUI）获取更多详细的介绍和使用指南。如果您是初学者，建议您从官网的"Getting Started"和GitHub上的"README"入手，这两个页面提供了详细的使用说明和示例代码。在掌握了基本的使用方法之后，您还可以通过查看官网的API文档和GitHub上的源代码来深入了解ComfyUI的实现原理和高级使用方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值