Datawhale X魔搭AI夏令营 AIGC方向Task03学习笔记
一,认识ComfyUI
1)ComfyUI 是GUI("Graphical User Interface"(图形用户界面)的缩写)的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术。ComfyUI 的特别之处在于它采用了一种模块化的设计,把图像生成的过程分解成了许多小的步骤,每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程,这样用户就可以根据需要定制自己的图像生成过程。
2)ComfyUI核心模块是模型加载器、提示词管理器、采样器、解码器。
3)ComfyUI图片生成流程:
选择模型——构建工作流——执行生成——调整与优化
4)ComfyUI的优势:
可视化界面,多模型支持,高度可拓展性
二,安装ComfyUI
git lfs install git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git mv kolors_test_comfyui/* ./ rm -rf kolors_test_comfyui/ mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/ mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/
安装程序
当执行到最后一个节点的内容输出了一个访问的链接的时候,复制链接到浏览器中访问
(请注意是红圈内的链接,其余链接请勿点击)
三,尝试ComfyUI工作流
1)不用Lora
把下载的json文件加载到刚刚安装的comfyUI上
2)用Lora
四,魔搭教程
2.2ComfyUI应用场景探索_哔哩哔哩_bilibili
(点击链接直接跳转)
五,关于Lora微调
介绍:LoRa(Long Range)是一种低功耗广域网(LPWAN)通信技术。它基于扩频无线通信,能够提供远距离、低数据速率(通常几kbps至几百kbps)的无线连接,特别适合物联网(IoT)应用,如智能家居、智能农业、环境监测等领域。
操作原理:通俗易懂理解全量微调和LoRA微调_哔哩哔哩_bilibili(点击直接跳转)
微调代码:
参数详情