Datawhale X 魔塔AI夏令营第四期：Task3学习笔记

本次任务是了解微调的基本原理，对各种参数有一个更好的了解，同时通过文生图的工作交流平台工具ComfyUI,来实现更高度定制的文生图。

一、Lora微调

1、简介

       Lora微调是一种用于在预训练模型上进行高效微调的技术，能够适应特定的任务，同时能够保持良好的泛化能力和较低的资源消耗，主要是通过在关键层中添加低秩矩阵，这样就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。

2、优势

①快速适应新任务

②保持泛化能力

③资源效率

3、代码详解

其中，lora_rank参数是设置LoRA的秩（rank），影响模型的复杂度和性能lora_alpha是设置LoRA的alpha值，控制微调的强度。

二、跑通ComfyUI

 1、什么是ComfyUI

ComfyUI是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

2、ComfyUI图片生成流程

3、安装ComfyUI

3.1选择GPU环境进行

3.2 下载代码文件

①在Terminal中创建文件

②下载文件

3.3 运行ComfyUI

    进入文件夹后一键运行。

3.4进入预览界面

  把链接复制到浏览器运行

3.5下载带Lora和不带Lora的工作流样本

3.6加载模型完成第一次生图

三、感悟

      经过前两次的学习，感觉不是太难理解，比之前有了进步，包括以前没有接触过的一些概念，也都了解一些了，跟着教程来，很快就完成了，也比较好理解，希望在课后可以继续学习一下，继续深究一下。