目录
一、工具初探一ComfyUI应用场景探索
1.初识ComfyUI
ComfyUI 是一个用于创建图形用户界面的框架,主要在机器学习和深度学习的应用中使用。它的设计旨在简化用户交互,提升可视化体验,使得即使没有编程经验的用户也能方便使用复杂的模型和工具。
ComfyUI 核心模块
1. 界面构建模块:ComfyUI 提供了一系列工具和控件,用于构建用户界面。这些控件包括按钮、滑块、文本框等,用户可以通过简单的配置来创建所需的界面布局。
2. 数据处理模块:处理输入数据和输出结果的功能,允许用户轻松地导入数据、处理计算和展示结果。这对于需要大量数据处理的机器学习任务尤为重要。
3. 模型集成模块:ComfyUI 支持集成各种机器学习模型,提供简单的接口来加载和使用它们。用户可以方便地选择不同模型,并对其进行参数调整。
4. 可视化模块:为了帮助用户理解模型输出或数据处理过程,ComfyUI 提供了数据和结果的可视化工具,比如图表、图像展示等,增强了用户体验。
5. 配置管理模块:用户可以通过配置文件或者方便的界面来管理和保存配置信息,提供了灵活性和可重复性。
6. 插件系统:ComfyUI 支持插件扩展,用户或开发者可以创建自定义功能并将其集成到现有框架中,进一步提升其灵活性和实用性。
下面让我们跟随小k一起来探究一下ComfyUI图片生成流程
2.20分钟速通安装ComfyUI
下载安装ComfyUI的执行文件
和task1中微调完成Lora文件
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/
在file中创建一个terminal
然后粘贴代码下载文件,一键安装
复制This is the URL to access ComfyUI后面的链接到浏览器
3.浅尝ComfyUI工作流
Step1:下载工作流脚本
👇请下载工作流脚本👇
需加载到刚刚安装的comfyUI上
Step2:加载模型,并完成第一次生图
PS:首次点击生成图片会加载资源,时间较长,大家耐心等待
下面我们再生成一个图片:
正向提示词
- 色彩鲜艳的花园
- 宁静的湖泊日出
- 古老的城堡与星空
- 活力四射的街头艺术
- 梦幻般的森林小径
- 微笑的孩子们玩耍
- 神秘的宇宙星际旅行
- 优雅的芭蕾舞者
- 闪烁的城市夜景
- 温馨的家庭聚会
反向提示词
- 阴暗的颜色
- 空洞无物的景象
- 杂乱无章的场景
- 悲伤或孤独的氛围
- 失去生机的环境
- 模糊不清的图像
- 不合理的构图
- 冲突的色彩搭配
- 无趣的主题
- 静止不动的景物
二、Lora微调
1.Lora简介
LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整,使其能够适应特定的任务或领域,同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间,这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中,只有这些新增的低秩矩阵被更新,而原始模型的大部分权重保持不变。
Loar的优势:
快速适应新任务
在特定领域有少量标注数据
的情况下,也可以有效地对模型进行个性化调整
,可以迅速适应新的领域或特定任务。
保持泛化能力
LoRA通过微调模型的一部分,有助于保持模型在未见过的数据上的泛化能力
,同时还能学习到特定任务的知识。
资源效率
LoRA旨在通过仅微调模型的部分权重,而不是整个模型,从而减少所需的计算资源和存储空间。
2.Lora详解
LoRA(Low-Rank Adaptation)是一种高效的模型微调方法,主要用于深度学习和自然语言处理领域。它通过减少模型参数的更新量,从而显著降低训练复杂度和资源消耗。
LoRA 的基本概念
1. 低秩分解:LoRA 的核心思想是将模型的权重矩阵进行低秩分解,特别是在大规模预训练模型的微调中。为每个层添加一个通常为低秩的适配矩阵,而不是直接更新完整的权重矩阵。这样,只需调整较少的参数,从而节省了存储和计算资源。
2. 参数高效性:与标准微调方法相比,LoRA 只需要更新非常小的参数集。这样,即使在多种任务上进行微调,也能保持较低的计算和存储负担。
3. 适用性强:LoRA 可以与各种深度学习模型、任务和架构兼容,广泛应用于自然语言处理、计算机视觉等领域。
如何工作
插入适配层:在原始模型的某些层之间插入一个适配层,该层使用低秩矩阵来捕捉任务特性。
保留原始权重:原始权重参数保持不变,微调时仅调整适配层的参数,确保微调后的模型与原始模型的性能保持一致。
参数详情表