comfyUi核心节点

comfyUi核心节点很大，所以在这里新开文章来一一详细的描述，因为很多，所以会慢慢更新。

一、comfyUi 节点是什么？

        ComfyUI 节点是指在 ComfyUI 图形用户界面中用于图像生成的基本构建块。ComfyUI 是为 Stable Diffusion 设计的节点式界面，用户可以通过链接不同的节点来创建复杂的图像生成工作流程。简单理解就是一个工作流程里面的一小块节点，也可以理解为每一个功能小模块，作用于整个工作流程的一个功能点。

  1、节点的定义

        在 ComfyUI 中，节点是图像生成流程中的基本单位。每个节点执行特定的功能，如图像处理、样式应用、颜色调整等，通过将这些节点链接起来，可以创建复杂的图像生成管道

  2、节点的用途

        节点可以用于多种目的，包括但不限于高清修复、生成不同样式的图像、调整图像参数等。它们使用户能够精细控制图像生成的每一个步骤

3、节点的安装与管理：

用户可以通过 ComfyUI 提供的管理工具安装和管理节点，解决节点缺失或错误的问题

参考地址

4、效率节点插件：

为了简化工作流程，ComfyUI 提供了效率节点插件集合，这些插件包含了多种常用功能，进一步提高了用户的操作效率（即：custom_nodes）

5.自定义节点、扩展和工具

为了方便快速搭建工作流，实现工作流程的结果，通常会搭建自定义的节点、扩展来达成目的。例如汉化自定义节点扩展ComfyUI-Translation。通常存放在custom_nodes目录下，可以通过面板安装节点或者卸载这些节点

6.节点查询与整合

可以通过这个地址 comfy.icu 了解不同节点整合的项目，使用以及教程。里面有所有不同的扩展节点链接。

   comfy.icu  节点整合

二、自定义扩展节点（插件）

首先说通过面板如果comfyUi管理面板插件以及安装插件，并且出现问题的时候如何解决。

首先保证 系统环境已经安装了 python、git、PIP包等，若不懂这些可以先去搜索安装

1、安装管理

    通过comfyUI管理面板，可以进行节点安装、缺失节点安装和模型安装等

 ①、扩展节点安装方式一

      首先打开管理器，找到自己想要安装的节点或者模块。 

标题comfyUI管理器

         然后选择安装节点、安装缺失节点、安装模型。也可以通过github上节点或者模型地址进行安装

管理器

         

找到自己想要安装的节点进行节点安装、关闭停用、卸载（注意：卸载会把目录下custom_nodes对应扩展插件文件夹删除）

节点安装列表

   

        也可以通过点名称，进入 github 上该扩展节点项目

github项目地址

       

        因为这里用的是comfyUi整合包进行安装插件，所以只需要重启comfyUI就可以进行自动安装对应的扩展依赖环境。若没有整合包请参考第二种 扩展节点安装方式二

标题安装扩展节点依赖环境

②、扩展节点安装方式二

        若我们已经知道该节点扩展在 github 地址，便可以通过GIT 进行克隆到 custom_nodes目录下，并且执行该自定义扩展的 requirements.txt 安装节点扩展所需环境包

 例如这里知道所需要扩展的项目地址（如下图），这里以ComfyUI-KJNodes 节点 作为安装例子

 

  进入我们comfyUi的 custom_nodes目录，进行克隆该自定义扩展节点

克隆项目

克隆成功后就会多了一个插件目录

或者可以通过cmd进入该目录 进行克隆（这里已经克隆下来，所以它会报已经存在目录）

git clone https://github.com/kijai/ComfyUI-KJNodes.git

克隆项目

       

 cd D:\ComfyUI-aki-v1.3\custom_nodes\ComfyUI-KJNodes

 进入该节点扩展目录，并且安装节点扩展依赖执行

pip install -r requirements.txt

等待安装完成,便安装成功

依赖安装

2、问题以及解决

①：缺失模型

通常执行工作流处理，弹出如下信息，表示缺失模型，这个时间要看看自己选择的模型是否在正确路径，若没有模型可以根据图片左上角地址去自行下载模型

Prompt outputs failed validation
CheckpointLoaderSimple:
- Value not in list: ckpt_name:

模型缺失

根据链接进入地址，找到对应的模型 放置到目录下的 models\checkpoints 目录下即可

②：缺失节点

通常执行流程工作时，会弹出节点缺失：

Nodes that have failed to load will show as red on the graph.

例如：

When loading the graph, the following node types were not found:

• VHS_VideoCombine

Nodes that have failed to load will show as red on the graph.

可以通过控制面板节点决失进行查看（参考下图）

节点缺失

安装缺失节点

安装缺失节点

安装缺失节点

标题安装缺失节点

安装好缺失节点，重启便会加载安装该节点的依赖 

安装完后， 便可以进行正常工作流使用

当然如果框架特别了解，也可以通过克隆拉取手动安装自定义扩展节点

（参考扩展节点安装方式二） 

三、comfyUi 常用核心节点

这里仅仅列表比较常用的基础节点，因为节点有几千个，但是实际常用的就基本那100多个，如果想要了解更多节点，可以订阅，后面会根据工作流进行更新。

1.基础词语解析概念

说节点之前先说基础概念，科普一般比较常见的基础字段解析，以便后续可以更好清晰了解节点名称以及用途

 CLIP 

将文本提示转换为 UNET 模型可以理解的压缩格式的模型；CLIP 模型连接到 CLIPTextEncode 节点。CLIP 充当文本编码器，将文本转换为主 MODEL 可以理解的格式

MODEL

主要的稳定扩散模型，也称为 UNET。生成压缩图像，模型文件很大 格式通过为.ckpt，或者.safetensors

VAE

变分自编码器，将压缩图像解码为正常图像；负责将图像从潜在空间转换为像素空间。潜在空间是主模型理解的格式，而像素空间是图像查看器可识别的格式

VAE_ENCODE

编码器将输入数据映射到潜在空间中，并生成潜在分布的参数（均值和方差），编码器输出潜在空间的均值和方差。基于VAE变分自编码器中进行将输入数据编码为潜在空间表示的过程。

VAE_DECODE

变分自编码器解码，解码器使用潜在空间中的隐变量来重建输入数据。这个过程通过将潜在变量传递给解码器网络，生成与原始输入数据相似的输出。基于VAE变分自编码器中进行使用潜在空间中的隐变量来重建输入数据。

CheckpointLoader

充当模型文件的表示。它允许用户选择要加载的检查点并显示三种不同的输出：MODEL、CLIP 和 VAE。

Fine-tuning

微调是一种技术，即采用已在大量数据上训练过的模型，然后在一些新数据上对其进行进一步训练。此方法的目的是将通用模型（又称预训练模型）调整为特定任务或领域，该模型已从大型数据集中获取了广泛的特征。当您没有大量数据用于特定任务时，这种方法非常有用。微调有助于预训练模型始终如一地生成具有您用来训练的特定细微特征的输出。
可以通过多种方法实现微调稳定扩散模型，包括检查点、LoRA、嵌入和超网络。让我们深入了解每种方法的含义以及它们之间的比较。

Checkpoints

检查点模型构成了稳定扩散的支柱。它们是综合文件，通常大小为 2 – 7 GB，包含生成图像所需的所有信息。使用检查点模型时不需要其他文件。要创建自定义检查点模型，您可以使用额外的训练或称为 Dreambooth 的技术。这两种方法都从基础模型（例如 Stable Diffusion v1.5 或 XL）开始，然后使用其他数据对其进行微调。例如，如果您对老式汽车感兴趣，您可以使用老式汽车图像数据集来训练模型，以使审美倾向这一子类型。

LoRA 

 LoRA 模型是小型补丁文件，通常大小为 10-200 MB，用于修改检查点模型的样式。它们与检查点模型 MODEL 配合使用，不能独立运行。
LoRA 模型与超网络相似，因为它们都修改了交叉注意模块。但是，修改过程有所不同。LoRA 模型通过改变其权重来改变交叉注意，而超网络则插入了额外的网络