“Datawhale X 魔搭 AI夏令营“ AIGC 学习笔记 Task3（优化）

认识ComfyUI

CpmfyUI主要用于让生成和调整 AI 图像的过程变得更加直观和容易。它允许用户通过图形界面来控制文本到图像的生成过程中的各种参数。

ComfyUI核心及图片生成流程

ComfyUI核心模块由模型加载器、提示词管理器、采样器、解码器。

本小节内容来自魔搭社区，具体内容可点击查看：魔搭官方教程https://datawhaler.feishu.cn/wiki/QHSTwBPFKiZxqfkA1INc1u4fn0f#part-P5ufdxyIEo1U6ixULfGcQA8bnSf

模型加载器：Load Checkpoint用于加载基础的模型文件，包含了Model、CLIP、VAE三部分

CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入

解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像

ComfyUI工作流实践

1. 不带Lora的工作流样例

2. 带Lora的工作流样例

Lora微调

是一种用于在预训练模型上进行高效微调的技术。

Lora微调原理

Lora（Low-Rank Adaptation，低秩适应）微调是一种用于深度学习模型的参数高效微调技术，特别适用于大规模预训练模型的优化。