Datawhale AI夏令营第四期 魔搭-AIGC方向 task03笔记

在task3中的任务是了解微调的基本原理，然后会对微调的各种参数有一个更加清楚的了解

来实现一个更好的效果，并且在这个Task中会给大家介绍一下文生图的工作流平台工具ComfyUI

并实现一个更加高度定制的文生图。

part1：工具初探一ComfyUI应用场景探索

1.认识ComfyUI

ComfyUI 是GUI的一种，是基于节点工作的用户界面 ，它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程。

2.安装ComfyUI：

选择使用魔搭社区提供的Notebook和免费的GPU算力体验来体验ComfyUI。

3.尝试使用comfyUI

资源网站

Part2：Lora微调

1. Lora简介

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要

        2.Lora微调的原理

LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。