Datawhale X 魔搭 AI夏令营：进阶上分-实战优化

Datawhale X 魔搭 AI夏令营：进阶上分-实战优化

Part1:ComfyUI

1.引出ComfyUI

我认为ComfyUI相当于搭积木，其完整逻辑为：目标–>工作流–>功能组–>模组–>模块
GUI 是 “Graphical User Interface”（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程

2. 初识ComfyUI

2.1 ComfyUI核心模块

核心模块 :
1)模型加载器：Load Checkpoint用于加载基础的模型文件，包含了Model、CLIP、VAE三部分
2)提示词管理器：
3)采样器：用于控制模型生成图像，不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡
4)解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像

3.浅试ComfyUI

在魔搭使用ComfyUI，玩转AIGC！
https://modelscope.cn/headlines/article/429
我的结果展示：

Part2：Lora微调

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。Lora并不是微调模型本身，而是微调参数。就是通过微调将模型的部分能力放大