Datawhale AI夏令营第四期 魔搭-AIGC方向 task03 笔记

今天了解微调的基本原理，然后对微调的各种参数有一个更加清楚的了解，来实现一个更好的效果，并且在这个Task中会给大家介绍一下文生图的工作流平台工具ComfyUI，来实现一个更加高度定制的文生图。

什么是ComfyUI
ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

核心模块
核心模块由模型加载器、提示词管理器、采样器、解码器。

20分钟速通安装ComfyUI 

在这里，我们依旧选择使用魔搭社区提供的Notebook和免费的GPU算力体验来体验ComfyUI。

启动魔搭社区我的Notebook

启动好我的Notebook后，输入以下代码：

下载脚本代码文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

然后逐一执行安装程序

进入预览界面

PS：如果链接访问白屏，或者报错，就等一会再访问重试，程序可能没有正常启动完毕 待执行到最后一个代码块出现跳转链接时，可以点击跳转，也可以复制链接到浏览器中访问。

浏览器里面打开工作流界面：

打开工作流界面后不能直接生成图片，需要下载工作流脚本

配置工作流JSON文件

先将task3教程中的JSON文件下载到本地：

点Load加载下载到本地的工作流 QUeue Prompt

在浏览器界面中点Queue Prompt运行后，返回我的Notebook界面，可以看见正在运行

等2分钟左右，在浏览器界面会发现，图片已经正常生成了。

下载代Lora训练的工作流样例

点Load加载下载到本地的工作流 QUeue Prompt，在浏览器界面中点Queue Prompt运行后，等2分钟左右，在浏览器界面会发现，图片已经正常生成了。

结束

出图完毕之后，记得保存图片并停止ComfyUI的连接，关闭实例。