Datawhale X 魔搭 AI夏令营-task03笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

内容
1.ComfyUI
2.ComfyUI工作流

---

一、ComfyUI

是Graphical User Interface（图形用户界面）。核心模块由模型加载器、提示词管理器、采样器、解码器。
【1】模型加载器：Load Checkpoint用于加载基础的模型文件，包含了Model、CLIP、VAE三部分
【2】CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入
【3】解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像
【4】采样器：用于控制模型生成图像，不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡。

二、ComfyUI工作流

1.下载安装ComfyUI的执行文件和task1中微调完成Lora文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/

2.进入预览界面

2.1 不带Lora的工作流样例

2.2 带Lora的工作流样例

总结

随着对这期训练营的学习，我慢慢对AIGC有了理解。