Datawhale X 魔搭 AI夏令营第四期 AIGC方向 Task03笔记

一.认识ComfyUI

1.介绍

GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就电脑屏幕上的那种有图标、按钮和菜单的交互方式。而ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，其中ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。通过连接这些节点形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

2.剖析

ComfyUI 的核心模块由模型加载器、提示词管理器、采样器、解码器组成，其中采样器是用于控制模型生成图像，调节生成速度和质量的平衡

具体图片生成流程如下：

同样，ComfyUI 也具有自己独特的优势，如模块化和灵活性：ComfyUI 提供了一个模块化的系统，用户可以通过拖放不同的模块来构建复杂的工作流程。这种灵活性允许用户根据自己的需求自由组合和调整模型、输入、输出、和其他处理步骤，使用户操作十分方便。

二.安装ComfyUI

1.下载脚本代码文件

利用如下代码下载安装ComfyUI的执行文件和task1中微调完成Lora文件

git lfs install git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git mv kolors_test_comfyui/* ./ rm -rf kolors_test_comfyui/ mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/ mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/

2.运行程序等待结果

当执行到最后一个节点的内容输出了一个访问的链接的时候，复制链接到浏览器中访问

例如下图：

3.浅尝ComfyUI工作流

1. 不带Lora的工作流样例

直接加载脚本，运行程序生图

1. 带Lora的工作流样例

下载工作流脚本（带Lora训练），修改lora文件地址：/mnt/workspace/models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt

三.Lora微调

1.Lora简介

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。

2.Lora微调原理

LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。

3.Lora详解（具体参数详情表）

参数名称	参数值	说明
pretrained_unet_path	models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors	指定预训练UNet模型的路径
pretrained_text_encoder_path	models/kolors/Kolors/text_encoder	指定预训练文本编码器的路径
pretrained_fp16_vae_path	models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors	指定预训练VAE模型的路径
lora_rank	16	设置LoRA的秩（rank），影响模型的复杂度和性能
lora_alpha	4	设置LoRA的alpha值，控制微调的强度
dataset_path	data/lora_dataset_processed	指定用于训练的数据集路径
output_path	./models	指定训练完成后保存模型的路径
max_epochs	1	设置最大训练轮数为1
center_crop		启用中心裁剪，用于图像预处理
use_gradient_checkpointing		启用梯度检查点，节省显存
precision	"16-mixed"	设置训练时的精度为混合16位精度（half precision）

这里我将LoRA的秩（rank）从16改为32，更大程度的影响了模型的复杂度和性能

同时将max_epochs（最大训练轮数）改为2，使模型更加精确

四.准备数据集

1.明确需求

在准备和选择数据集时，我们需从以下三个角度考虑：

• 关注应用场景：确定你的模型将被应用到什么样的场景中（例如，艺术风格转换、产品图像生成、医疗影像合成等）。

• 关注数据类型：你需要什么样的图片？比如是真实世界的照片还是合成图像？是黑白的还是彩色的？是高分辨率还是低分辨率？

• 关注数据量：考虑你的任务应该需要多少图片来支持训练和验证。

2.数据集来源整理

魔搭社区内开放了近3000个数据集，涉及文本、图像、音频、视频和多模态等多种场景，同时，左侧有标签栏帮助快速导览（如下图所示）

这里我选择了如下数据集：

最终训练出如下模型：

https://www.modelscope.cn/qwq123qwq123qwq/Loli-LoRA.git