一、ComfyUI简介
ComfyUI 是由 Comfy AnonyMous 于 2023 年 1 月创建的、用来学习和研究 Stable Diffusion 的工作原理的基于节点流程式的 stable diffusion AI 绘图工具 WebUI, 通过将 stable diffusion 的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。
ComfyUI大体工作流程如下:
二、ComfyUI操作
基于魔搭社区免费的Notebook实例进行操作。
在客户端中,输入下述命令,下载ComfyUI和Task1中训练得到的LoRA
git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/
运行效果如下图:
双击Notebook左侧边栏中ComfyUI.ipynb文件,然后运行。
复制网址,打开,具体如下图
ComfyUI页面如下:
通过Load加载DataWhale提供的工作流,效果如下图
尝试改写关键词:
额外学到的知识点:
prompt中用“|”隔开,可以生成多幅图片,于是,就用8句提示词写了下面的小故事
利用kimi撰写分镜头:
三、总结
通过ComfyUI的初步学习,对SD模型得理解有了一个更加直观的认识,了解到SD模型生成图片背后涉及到的流程组件。