Datawhale X 魔搭 AI夏令营 Task 3 任务

这期是我们AIGC夏令营最后一个任务了，真是让人意犹未尽！在这一期的学习中，我们学习到了一个新的图片生成工具，那就是------ComfyUI。

首先，我们来说一下ComfyUI是什么呢？

ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。

GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。

而ComfyUI的核心模块由模型加载器、提示词管理器、采样器、解码器。

模型加载器是Load Checkpoint用于加载基础的模型文件，包含了Model、CLIP、VAE三部分。

CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入。

解码器则是VAE模块的作用是将Latent space中的embedding解码为像素级别的图像。

采样器是用于控制模型生成图像，不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡。

提示词管理器就是将你想要生成的图片信息输入到提示词管理器中，它就会根据你的要求生成图片。

那么，ComfyUI是如何生成图片的呢？

首先，选择模型。从可用的AI模型列表中选出合适的模型，例如stable diffusion或其他文本到图像模型。

其次，构建工作流。在 ComfyUl的图形界面上拖拽节点,并将它们连接起来以形成一个完整的图像生成或编辑流程。输入必要的参数，如文本提示、图像文件等。

然后，执行生成。运行构建好的工作流，观察生成的结果。

最后，调整与优化。如果需要，可以根据生成的结果调整参数或修改工作流，直至获得满意的效果。

那我们为什么会选择CompyUI而不是其他的工具呢？

那是因为，第一，模块化和灵活性。ComfyUI 提供了一个模块化的系统，用户可以通过拖放不同的模块来构建复杂的工作流程。这种灵活性允许用户根据自己的需求自由组合和调整模型、输入、输出、和其他处理步骤。

第二，可视化界面。ComfyUI 提供了直观的图形界面，使得用户能够更清晰地理解和操作复杂的 AI 模型和数据流。这对没有编程背景的用户特别有帮助，使他们能够轻松构建和管理工作流程。

第三，多模型支持。ComfyUI 支持多个不同的生成模型，用户可以在同一平台上集成和切换使用不同的模型，从而实现更广泛的应用场景。

第四，调试和优化。通过其可视化界面，ComfyUI 使得调试生成过程变得更简单。用户可以轻松地追踪数据流，识别并解决问题，从而优化生成结果。

第五，开放和可扩展。ComfyUI 是一个开源项目，具有高度的可扩展性。开发者可以根据需要编写新的模块或插件，扩展系统功能，并根据项目需求进行定制。

第六，用户友好性。尽管其功能强大，但 ComfyUI 仍然保持了用户友好性，即使对于复杂任务，也能以相对简单的方式完成，使其成为生成式 AI 工作流程管理的有力工具。

最后，我们将进行安装ComfyUI并进行生成图片的运行。

首先，我们需要下载脚本文件。通过打开魔搭社区的我的Notebook中魔搭平台免费实例，我们可以看到有两个选项，我们选择后面的GPU环境，并进行使用，我们就会打开一个实例。接着我们在file中创建一个terminal，然后粘贴下列代码，下载文件。

1 git lfs install
2 git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
3 mv kolors_test_comfyui/* ./
4 rm -rf kolors_test_comfyui/
5 mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
6 mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

接着双击进入ComfyUI.ipynb中，一键执行安装程序，当执行到最后一个节点的内容输出了一个访问的链接的时候，复制链接到浏览器中访问。如果在最后的内容中出现了

This is the URL to access ComfyUI: https://ruth-intellectual-criterion-change.trycloudflare.com时，我们需要复制链接到浏览器中，打开ComfyUI.

那么，该怎么使用ComfyUI 呢？

不带Lora的图片生成方法

首先，我们需要下载没有Lora模型的工作流脚本。

其次，我们需要在ComfyUI里选择load键加载刚刚下载的脚本，记得要选择不带lora的工作流脚本。

接着，我们就可以通过Kolors Text Encode里的正向提示词和反向提示词进行图片生成。

记住，上面的是正向提示词，下面的是反向提示词。

最后，按Queue prompt的按键进行图片生成。

这是我生成的图片，漂亮吧！只要掌握了方法，相信你也可以。

那么，既然有不带Lora的图片生成方法，自然有带Lora的图片生成方法。那我们该怎么做呢？

首先，下载自己的Lora工作流脚本。

其次，将工作流脚本在ComfyUI软件中按load键进行导入。记得选择带Lora模型的工作流脚本。

接着，通过修改Kolors Text Encode里的正向提示词和反向提示词进行图片生成。

记住，上面的是正向提示词，下面的是反向提示词。

最后，按Queue prompt的按键进行图片生成。

这是我生成的图片内容，真是漂亮极了。

这就是我今天这个最后阶段学到的东西啦。我会把学习的链接放在最后，欢迎各位小伙伴去尝试学习呀！那今天就先到这里了，再见！

AIGC 训练营 task 3 学习内容：Datawhale