Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task3笔记
一、ComfyUI概览
- 概念:
GUI 是 “Graphical User Interface”(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。
ComfyUI 是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,ComfyUI 的特别之处在于它采用了一种模块化的设计,把图像生成的过程分解成了许多小的步骤,每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程,这样用户就可以根据需要定制自己的图像生成过程。
常见AI模型:
Stable Diffusion
的基本原理是通过降噪的方式(如完全的噪声图像),将一个原本的噪声信号变为无噪声的信号(如人可以理解的图像)。其中的降噪过程涉及到多次的采样。采样的系数在KSampler中配置:
seed
:控制噪声产生的随机种子control_after_generate
:控制seed在每次生成后的变化steps
:降噪的迭代步数,越多则信号越精准,相对的生成时间也越长cfg
:classifier free guidance
决定了prompt
对于最终生成图像的影响有多大。更高的值代表更多地展现prompt中的描述。denoise
: 多少内容会被噪声覆盖sampler_name、scheduler
:降噪参数。
二、ComfyUI体验
-
step1:下载脚本代码文件
下载安装
ComfyUI的执行文件
和task1中微调完成Lora文件
git lfs install git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git mv kolors_test_comfyui/* ./ rm -rf kolors_test_comfyui/ mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/ mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/
-
step2:进入ComfyUI的安装文件执行安装程序
This is the URL to access ComfyUI: https://regular-databases-blonde-fri.trycloudflare.com
然后我们打开这个链接,就成功打开了ComfyUI
- step3:下载不带lora微调的工作流脚本,加载模型,完成第一次生图