Datawhale X 魔搭 AI夏令营 AIGC方向 学习笔记（三）

任务内容：了解文生图的工作流平台工具ComfyUI，了解Lora微调的基本原理，了解如何准备高质量数据集。

认识ComfyUI

ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

核心模块：

      模型加载器：Load Checkpoint用于加载基础的模型文件，包含了Model、CLIP、VAE三部分.
      CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入.
      采样器：用于控制模型生成图像，不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡.
      解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像.

ComfyUI图片生成流程

        选择合适的文到图AI模型-->在可视化界面连接节点组成完整工作流程，输入必要的参数-->运行工作流，根据结果作相应调整修改。

Lora微调原理

        在预训练模型的关键层中加入低秩矩阵。它们通常被设计成具有较低维度的参数空间，这样就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只更新这些低秩矩阵，保留原始模型的大部分权重。

对Lora rank 的认识

rank,即秩。该参数决定了微调中引入的低秩矩阵的维度。例如原始权重矩阵为dxk，则可将其分解为dxr和rxk的两个矩阵之积。r即为rank参数的大小。r越大，可能引入越多训练参数，使模型的适应和学习能力更强，但也相应增加了计算资源的需求。在数据集规模较小或计算资源有限时则可以采用小的r值。

对Lora alpha 的认识

该参数定义了lora的学习率缩放因子，类似常规训练模型中的alpha，该参数影响低秩矩阵的·更新快慢。较大的alpha值会使得学习速度更快，但也有振荡导致的训练结果不稳定的风险