Datawhale X 魔搭 AI 夏令营 Task 03

Comfy UI 的认知

ComfyUI的开源代码库：https://github.com/comfyanonymous/ComfyUI

Comfy UI 界面认识

1.总体认知

我们称由节点和边构成的全部内容为一个工作流程

• 节点是矩形块，例如加载检查点、剪辑文本编码器等。每个节点执行一些代码。如果您有一些编程经验，您可以将它们视为函数。
• 边是连接节点之间的输出和输入的电线。

一个工作流程

操作框

 

2.局部认知

2.1 Load Checkpoint 节点

在 ComfyUI 中，Load Checkpoint 节点是一个非常重要的核心节点。其功能是加载 checkpoint 大模型，常用的大模型有 sd1.0、sd1.5、sd2.0、sd3.0、sdXL 等。

输入：

ckpt_name -> 自行选择在模型网站下载好的大模型（在用 WebUI 时下载了大模型的可以共享路径文件，节省磁盘空间）

输出：

MODEL -> 该模型用于对潜空间图片进行去噪

CLIP -> 该模型用于对 Prompt 进行编码

VAE -> 该模型用于对潜在空间的图像进行编码和解码

注意：·StableDIffusion 大模型(checkpoint)内置有 CLIP 和 VAE 模型

另加载大型模型时，可能会耗费较长时间或占用大量内存，确保系统资源充足，避免因资源不足而导致的加载失败。

Comfy UI 各参数含义——怎么用

带Lora微调模型的训练成果

在魔搭notebook 上运行

下载安装ComfyUI的执行文件和task1中微调完成Lora文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

可以看到当轮到某个节点工作时，对应的节点就会被点亮