Datawhale AI夏令营第四期魔塔-AIGC文生图方向 task03笔记

 目录

一、工具初探一ComfyUI应用场景探索 

1.初识ComfyUI

2.20分钟速通安装ComfyUI

3.浅尝ComfyUI工作流

二、Lora微调 

1.Lora简介

2.Lora详解

---

一、工具初探一ComfyUI应用场景探索 

1.初识ComfyUI

       ComfyUI 是一个用于创建图形用户界面的框架，主要在机器学习和深度学习的应用中使用。它的设计旨在简化用户交互，提升可视化体验，使得即使没有编程经验的用户也能方便使用复杂的模型和工具。

ComfyUI 核心模块

1. 界面构建模块：ComfyUI 提供了一系列工具和控件，用于构建用户界面。这些控件包括按钮、滑块、文本框等，用户可以通过简单的配置来创建所需的界面布局。

2. 数据处理模块：处理输入数据和输出结果的功能，允许用户轻松地导入数据、处理计算和展示结果。这对于需要大量数据处理的机器学习任务尤为重要。

3. 模型集成模块：ComfyUI 支持集成各种机器学习模型，提供简单的接口来加载和使用它们。用户可以方便地选择不同模型，并对其进行参数调整。

4. 可视化模块：为了帮助用户理解模型输出或数据处理过程，ComfyUI 提供了数据和结果的可视化工具，比如图表、图像展示等，增强了用户体验。

5. 配置管理模块：用户可以通过配置文件或者方便的界面来管理和保存配置信息，提供了灵活性和可重复性。

6. 插件系统：ComfyUI 支持插件扩展，用户或开发者可以创建自定义功能并将其集成到现有框架中，进一步提升其灵活性和实用性。

下面让我们跟随小k一起来探究一下ComfyUI图片生成流程

 

2.20分钟速通安装ComfyUI

下载安装ComfyUI的执行文件和task1中微调完成Lora文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

在file中创建一个terminal

然后粘贴代码下载文件，一键安装

复制This is the URL to access ComfyUI后面的链接到浏览器

3.浅尝ComfyUI工作流

Step1：下载工作流脚本

👇请下载工作流脚本👇

需加载到刚刚安装的comfyUI上

Step2：加载模型，并完成第一次生图

PS：首次点击生成图片会加载资源，时间较长，大家耐心等待

下面我们再生成一个图片：

 

正向提示词

1. 色彩鲜艳的花园
2. 宁静的湖泊日出
3. 古老的城堡与星空
4. 活力四射的街头艺术
5. 梦幻般的森林小径
6. 微笑的孩子们玩耍
7. 神秘的宇宙星际旅行
8. 优雅的芭蕾舞者
9. 闪烁的城市夜景
10. 温馨的家庭聚会

反向提示词

1. 阴暗的颜色
2. 空洞无物的景象
3. 杂乱无章的场景
4. 悲伤或孤独的氛围
5. 失去生机的环境
6. 模糊不清的图像
7. 不合理的构图
8. 冲突的色彩搭配
9. 无趣的主题
10. 静止不动的景物

二、Lora微调 

1.Lora简介

       LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。

       LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间，这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中，只有这些新增的低秩矩阵被更新，而原始模型的大部分权重保持不变。

Loar的优势：

快速适应新任务

在特定领域有少量标注数据的情况下，也可以有效地对模型进行个性化调整，可以迅速适应新的领域或特定任务。

保持泛化能力

LoRA通过微调模型的一部分，有助于保持模型在未见过的数据上的泛化能力，同时还能学习到特定任务的知识。

资源效率

LoRA旨在通过仅微调模型的部分权重，而不是整个模型，从而减少所需的计算资源和存储空间。

2.Lora详解

      LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，主要用于深度学习和自然语言处理领域。它通过减少模型参数的更新量，从而显著降低训练复杂度和资源消耗。

LoRA 的基本概念

1. 低秩分解：LoRA 的核心思想是将模型的权重矩阵进行低秩分解，特别是在大规模预训练模型的微调中。为每个层添加一个通常为低秩的适配矩阵，而不是直接更新完整的权重矩阵。这样，只需调整较少的参数，从而节省了存储和计算资源。

2. 参数高效性：与标准微调方法相比，LoRA 只需要更新非常小的参数集。这样，即使在多种任务上进行微调，也能保持较低的计算和存储负担。

3. 适用性强：LoRA 可以与各种深度学习模型、任务和架构兼容，广泛应用于自然语言处理、计算机视觉等领域。

如何工作

插入适配层：在原始模型的某些层之间插入一个适配层，该层使用低秩矩阵来捕捉任务特性。
保留原始权重：原始权重参数保持不变，微调时仅调整适配层的参数，确保微调后的模型与原始模型的性能保持一致。

参数详情表

---