本次我们来了解一下ComfyUI的功能,并速通安装ComfyUI
工具初探一ComfyUI应用场景探索
1初识ComfyUI
1.1什么是ComfyUI
GUI 是 "Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。
ComfyUI 是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,ComfyUI 的特别之处在于它采用了一种模块化的设计,他将图片生成划分为几个部分,这几个部分通过导线连接,在正向提示词和反向提示词准备完成以后生成图片。
1.2ComfyUI核心模块
核心模块由模型加载器、提示词管理器、采样器、解码器。
·模型加载器:Load Checkpoint用于加载基础的模型文件,包含了Model、CLIP、VAE三部分
·CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入。
·解码器:VAE模块的作用是将Latent space中的embedding解码为像素级别的图像。
Stable Diffusion的基本原理是通过降噪的方式(如完全的噪声图像),将一个原本的噪声信号变为无噪声的信号(如人可以理解的图像)。其中的降噪过程涉及到多次的采样。采样的系数在KSampler中配置:
-
seed:控制噪声产生的随机种子
-
control_after_generate:控制seed在每次生成后的变化
-
steps:降噪的迭代步数,越多则信号越精准,相对的生成时间也越长
-
cfg:classifier free guidance决定了prompt对于最终生成图像的影响有多大。更高的值代表更多地展现prompt中的描述。
-
denoise: 多少内容会被噪声覆盖 sampler_name、scheduler:降噪参数。
1.3ComfyUI的优势
- 模块化和灵活性
- 可视化界面
- 多模型支持
- 调试和优化
- 开放和可扩展
- 用户友好性
1.4ComfyUI的成图流程:
- 选择流程
- 构建工作流
- 执行生成
- 调整优化
1.5速通ComfyUI
1.我们依旧选择使用魔搭社区提供的Notebook和免费的GPU算力体验来体验ComfyUI。
在这里我们选择方法二,查看Notebook,
-
下载脚本代码文件
下载安装ComfyUI的执行文件
和task1中微调完成Lora文件
git lfs install git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git mv kolors_test_comfyui/* ./ rm -rf kolors_test_comfyui/ mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/ mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/
点击创建文件,选择Terminal,将上面的文件粘贴上去选择下方文件,点击运行开始。(这里要等大概二十分钟)
等到下方连接出来为止
https://opponent-halloween-und-talent.trycloudflare.com
然后浏览器进入
进去以后下载工作流脚本,完成图像
-
这里的Lora是我们Task1微调训练出来的文件
-
地址是:/mnt/workspace/models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt
-
大家如有有其他的Lora文件,可以在下面截图Lora文件地址区域更换成自己的地址
-
加入脚本点击Load,然后点击Queue Prompt
这样就算完成了。
2.Lora微调
1.Lora简介
LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整,使其能够适应特定的任务或领域,同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。
2.Lora微调的原理
LoRA通过在预训练模型的关键层中添加低秩矩阵来实现。这些低秩矩阵通常被设计成具有较低维度的参数空间,这样它们就可以在不改变模型整体结构的情况下进行微调。在训练过程中,只有这些新增的低秩矩阵被更新,而原始模型的大部分权重保持不变。
3.Lora微调的优势
·快速适应新任务
在特定领域有少量标注数据
的情况下,也可以有效地对模型进行个性化调整
,可以迅速适应新的领域或特定任务。
·保持泛化能力
LoRA通过微调模型的一部分,有助于保持模型在未见过的数据上的泛化能力
,同时还能学习到特定任务的知识。
·资源效率
LoRA旨在通过仅微调模型的部分权重,而不是整个模型,从而减少所需的计算资源和存储空间
4.参数详情表
参数名称 | 参数值 | 说明 |
| models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors | 指定预训练UNet模型的路径 |
| models/kolors/Kolors/text_encoder | 指定预训练文本编码器的路径 |
| models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors | 指定预训练VAE模型的路径 |
| 16 | 设置LoRA的秩(rank),影响模型的复杂度和性能 |
| 4 | 设置LoRA的alpha值,控制微调的强度 |
| data/lora_dataset_processed | 指定用于训练的数据集路径 |
| ./models | 指定训练完成后保存模型的路径 |
| 1 | 设置最大训练轮数为1 |
| 启用中心裁剪,用于图像预处理 | |
| 启用梯度检查点,节省显存 | |
| "16-mixed" | 设置训练时的精度为混合16位精度(half precision) |
5.UNet、VAE和文本编码器的协作关系
- 输入:
- 用户输入文本提示(如“一个骑马的宇航员”)。
- 文本编码器将文本提示转换为text embedding。
- VAE编码器:
- 接收原始图像(在训练阶段)或随机噪声(在生成阶段)。
- 将图像或噪声转换为低维潜在表示。
- UNet:
- 接收VAE编码器输出的潜在表示和文本编码器输出的text embedding。
- 通过迭代降噪过程,逐步将潜在表示转化为更清晰的图像表示。
- 在每次迭代中,UNet的输出是噪声残差,用于计算去噪后的潜在表示。
- VAE解码器:
- 接收UNet最终输出的去噪潜在表示。
- 将潜在表示转换回图像空间,生成最终的图像。
3 .一个高质量的数据集有哪些准备
1. 明确数据集目标
- 确定需求:首先,需要明确数据集的具体用途和目标,包括数据类型、数据量和数据质量要求。这有助于确保数据集的构建与使用的一致性。
- 应用场景:考虑数据集将用于哪种机器学习或人工智能任务,如分类、回归、聚类、推荐系统等。
2. 数据采集
- 选择来源:确定数据采集的来源,可以包括互联网公开数据、专业数据库、自行拍摄或采集的数据等。
- 多样性:确保数据集的多样性,包括不同的场景、对象、条件等,以提高模型的泛化能力。
- 合法性:确保数据采集过程符合法律法规,避免侵犯隐私和知识产权。
3. 数据清洗与预处理
- 去除噪声:删除或修正数据中的错误、重复、无关或异常值。
- 格式统一:将数据转换为统一的格式,便于后续处理和分析。
- 数据转换:根据需要进行数据归一化、标准化等处理,以提高模型的训练效率。
以下渠道来源均需要考虑合规性问题,请大家在使用数据集过程中谨慎选择。
- 购买或定制数据
- 增强数据合成
- 使用API或爬虫获取
- 数据平台