Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task03笔记

Datawhale官方的Task3链接：Task03

往期Task1、Task2链接：Task01， Task02

【学习者手册】：链接直达

【QA文档】：链接直达

【赛事官网】：链接直达

ComfyUI

       ComfyUI是一个基于深度学习的图像生成软件，它通常被用于创建高质量的图像，特别是与AI艺术生成相关。该软件支持使用各种预训练的模型，用户可以通过简单的拖放操作来构建自己的图像生成流程。ComfyUI的特点包括直观的用户界面和强大的脚本功能，使得用户能够轻松地定制和优化图像生成过程。

        ComfyUI的核心在于其节点编辑系统，用户可以通过组合不同的节点来构建复杂的图像生成脚本。这些节点可能包括模型加载器、图像处理模块、输出模块等。软件的一个显著优点是它能够支持多种模型和工具链，允许用户进行各种创意实验。

       此外，ComfyUI经常更新，添加新功能和改进现有功能，以保持与最新技术的发展同步。它还具有一个活跃的社区，用户可以在这个社区中交流想法、分享预设以及获取支持。

参考手册：ComfyUI用户手册

---

速通ComfyUI

接下来我们来跑一下跟着教程速通一下ComfyUI：

新建实例

在这里，我们依旧选择使用魔搭社区提供的Notebook和免费的GPU算力体验来体验ComfyUI。

这里需要注意的是，不要使用 Task1 中的baseline实例来跑后面内容，会发生环境重叠出错。

执行git拉取项目等命令

等待实例启动，进入实例，新建终端执行命令

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

一键执行安装程序（大约10min）

进入预览界面

PS：如果链接访问白屏，或者报错，就等一会再访问重试，程序可能没有正常启动完毕

待执行到最后一个代码块出现跳转链接时，可以点击跳转，也可以复制链接到浏览器中访问

这是我打开之后的工作流界面：

配置工作流JSON文件

先将task3教程中的两个JSON文件下载到本地：

在工作流中点击加载：

这里可能会显示爆红，这意味着前面的模型下载和配置没有做好：

回到jupyter中检查：

正常加载后界面如下，这是两个JSON文件的各个模块说明

K采样器的参数说明

接下来我将详细介绍出图参数调整模块（K采样器）的参数说明

Positive：正向条件

Negative：负向条件

latent_image：将被去噪的潜在图像

seed：用于创建噪声的随机种子

control_after_generate：在每个提示后更改上述种子号的能力。节点可以randomize、increment、decrement或保持种子号fixed。

steps：去噪过程中使用的步骤数。采样器允许进行的步骤越多，结果就越准确。但过大的steps会导致出图过爆，出现不好的画面。

cfg：分类器自由引导（cfg）比例决定了采样器在实现提示内容方面的积极性。更高的比例强制图像更好地代表提示，但设置过高的比例会负面影响图像质量。

sampler_name：使用哪个采样器

scheduler：使用哪种计划

denoise：通过噪声擦除多少潜在图像的信息

结束动作

出图完毕之后，记得保存修改并停止远程ComfyUI的连接，并关闭实例。

ComfyUI的丰富组件及搭配，给许多不同的独立场景工作流提供了可能，感兴趣的同学可以去了解下，下面推荐一位up主：赛博迪克朗的个人空间-赛博迪克朗个人主页-哔哩哔哩视频 (bilibili.com)

---

LoRA微调

低秩适应（LoRA）。LoRA是什么？它是如何工作的？与其他流行的微调方法相比如何？

LoRA思路

低秩适应（Low-Rank Adaptation）是一种参数高效的微调技术，其核心思想是对大型模型的权重矩阵进行隐式的低秩转换。

什么是低秩转换呢？

整体的想法和概念与主成分分析（PCA）和奇异值分解（SVD）有关，我们通过一个较低维度的表示来近似表示一个高维矩阵或数据集。

换句话说，我们试图找到原始特征空间（或矩阵）中少数维度的（线性）组合，能够捕捉数据集中大部分的信息。

如下图所示：

1. 步数相关 repeat / epoch / batch_size 

• epoch多轮次比单轮次要好，通过设置可以每轮保存一组模型，多轮次说明有多组模型，得到好概率的可能是比单轮次就一个模型的概率是要高的，epoch一般设置5~10；
• batch_size要是高，一是可能显存带不动，二是值越高训练越快 越可能学得囫囵吞枣收敛得慢。 

 batch_size 从1到2，Ir就要*2

2. 速率/质量相关 Ir学习率 / Dim网络维度 / Optimizer优化器

学习率Ir，控制了每次参数更新的幅度，过低参数更新幅度小 训练收敛就慢 陷入局部最优解 训练时间增加，过低也会导致训练初期无法有效学习到特征；过高，参数更新幅度大 错过全局最优解附近的局部最优解 找不到稳定的收敛点，常用cos的学习率衰减策略，初始使用较大的学习率快读接近全局最优解，在随着训练的进行逐渐减小学习率，使得逐渐细化搜索空间，找到全局附近的局部最优解，提高收敛的稳定性。

前面提到的“bs提高，Ir也要提高”是因为bs较大时会导致参数更新的方差减小从而使得梯度更新幅度也减小，这时就需要Ir也相应地增大。我这里还在思考bs、Ir都提高了的话，训练速度是不是也会大幅度提高？chat告诉我不一定，因为bs大占用的内存和计算量也增加，Ir大模型容易不稳定不收敛，理论上肯定是会增加训练速度，但实际上还是要根据你的显卡来设置bs值，训练速度变向是看钞能力，跑起来才是王道，先优先考虑生成效果再训练速度吧~

3. 优化器(Optimizer)

Lion比AdamW8bit的优点是更快，总训练步数在3k-1w内都可以考虑选它。

图像这里居然不要很多，作者这里是考虑到耗费时间等因素，我觉得有道理，如果我训练效果不好，我将尝试将重新创建我的数据集，只选出质量最高的30来张图像来做训练。 

loss值的最优区间0.07-0.09，但loss值只是一个参考，但更多的还是要通过XYZ测试来看模型的好坏，原图VS根据原图tag测试模型生成的图片。