Datawhale AI夏令营第四期 魔搭-AIGC方向 task03-小白笔记-浅尝ComfyUI

一、ComfyUI介绍

ComfyUI的优点

ComfyUI更新快适应新技术能力强，且拥有可视化界面、多模型支持等功能，它的模块化特性允许用户以极致细粒度和自由的方式匹配组件。大多数Stable Diffusion ui为选择任何给定任务的最佳实践，使用ComfyUI，用户可以制定自己的最佳实践，并轻松比较多个解决方案的结果。

ComfyUI图片生成流程

Step1:选择模型
从可用的Al模型列表中选择合适的模型，例如 Stable Diffusion 、Kolors、Lora或其他文本到图像模型。
Step2：构建工作流
在ComfyUl的图形界面增添和链接节点，并将它们连接起来以形成一个完整的图像生成流程。
输入必要的参数，如文本提示、图像文件等。
Step3：执行生成
运行构建好的工作流，得到生成的结果。
Step4：调整与优化
根据生成的结果调整参数或修改工作流，直至获得满意的效果。

二、ComfyUI的下载

1、下载安装ComfyUI的执行文件和task1中微调完成Lora文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

2、进入ComfyUI的安装文件

3、一键执行安装程序

4、输入终端最后给出的URL到浏览器中从而进入到ComfyUI工作界面

三、ComfyUI的使用

1、下载工作流脚本Kolors_example.json

2、LAOD模型 ，构建工作流生成图片

3、LoRA微调（微调模型）

本次任务加载的模型是Task1中微调训练出来的，地址是：

http:///mnt/workspace/models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt

LoRA (Low-Rank Adaptation) 微调是一种用于在预训练模型上进行高效微调的技术。它可以通过高效且灵活的方式实现模型的个性化调整，使其能够适应特定的任务或领域，同时保持良好的泛化能力和较低的资源消耗。这对于推动大规模预训练模型的实际应用至关重要。

LoRA微调的原理是在预训练模型的关键层添加低秩矩阵，在不改变模型整体结构的情况下进行微调，通过对低秩矩阵的学习来替代原来的大参数量的矩阵，同时通过对Rank的不同取值来改变需要学习的参数的数量（Rank越小参数数量越小），达到了节省大量资源的目的。

4、自定义节点

自己设计实现颜色反转的节点功能

代码如下：（注意：要在ComfyUI的custom_nodes文件夹目录下新建一个文件夹来存放下面两个python代码）

本来后面还打算设计一个具有调色功能的节点(将肤色变深)，但是由于知识储备不够，导致无法解决这种最简单的图生图的问题/(ㄒoㄒ)/~~

如上图，设计了一个Tan Skin节点，与加载图像节点（Load Image）连接后输出给保存图像节点（Save Image）

但是由于自己设计的这个节点通过Image.fromarray()方法返回的是一个PIL Image对象，而不是一个可下标访问的对象，导致保存图像节点无法正确接收生成的图像。（问AI问的O.o），后面去ComfyUI用户手册上看了一下也没有找到能直接实现想要功能的节点，加载其他的非魔搭社区的模型也很慢，所以暂时没能解决这个问题。