Datawhale X 魔搭 AI夏令营 第四期-AIGC文生图 Task3学习和实际操作日记

1. ComfyUI概念和应用安装流程

概念：ComfyUI 是GUI（"Graphical User Interface"（图形用户界面），有图标、按钮、菜单的交互方式）的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术。ComfyUI是把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。更改参数更便捷。

核心模块：

模型加载器、提示词管理器、采样器、解码器

应用安装：本次使用，是通过魔塔社区入口进行安装使用，后期可通过租用算力等方式登陆使用。

创建新的terminal，输入上方代码，进入ComfyUI的安装部署文件，一键运行后，会跳出ComfyUI的网站链接，每次链接的网址都不一样，需要复制到浏览器进入。另外，比如这次通过魔塔获得链接，那么不可以关闭魔塔，不然ComfyUI会无法运行。

2. ComfyUI工作流尝试

分带Lora和不带Lora两种尝试

不带Lora模型生成

提示词部分支持多行输入，用“|”进行不同图片的提示词划分，生成的图片如下：

可以看到效果非常惊艳，交互界面鼠标抓取拖动，非常方便。

带Lora模型：

第一次运行时很顺畅，出来的图非常惊艳。But……从第二次进入开始……安装comfyui报错：

以致于comfyui运行带Lora模型时一直报错：

重新阅读教程，发现，原来每次重新安装comfyui，都需要新建terminal并运行代码：

git lfs install 
git clone 
https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git 
mv kolors_test_comfyui/* ./ 
rm -rf kolors_test_comfyui/ 
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/ 
mv epoch=0-step=500.ckpt 
/mnt/workspace/models/lightning_logs/version_0/checkpoints/ 

终于成功安装……，task1的提示词示例生图效果：

那么，Task2的提示词再次使用，会给我什么图片呢？

   

    

    

    

可以看到，整体效果比之前的好多了，至少服饰、发型等符合初步预期。但有些提示词如：双手掩面、正面对观众还是没有体现。图7的追逐女性，一直无法生成。

后期还需要不断微调，包括搜集图片给到数据集，使得生成的图片更符合我的要求。