ComfyUI——基于Stable Diffusion简洁强大的AI绘图用户界面

飞天小牛仔

于 2024-10-08 11:50:49 发布

阅读量630

点赞数 12

文章标签：人工智能 ai AI作画深度学习 comfyui

本文链接：https://blog.csdn.net/m0_71745258/article/details/142755993

版权

什么是ComfyUI

熟悉AI绘画的人很多都用过Stable Diffusion WebUI，它优点是简单易用，配合丰富的插件生态，提供了众多令人惊讶的功能。而同样基于Stable Diffusion开发的ComfyUI，虽然相对小众，但由于其具有简洁灵活的界面，清晰可见的Workflow，高效的运行效率等特性，逐渐受到越来越多用户的喜爱。直到SDXL发布，由于ComfyUI支持更好，很多用户为了更好的体验这个新一代的模型而从WebUI转到ComfyUI，让它一下子火了起来。

ComfyUI实质上是一个工作流程的构建工具，能够将图像生成过程细化为一系列步骤，每个步骤都用一个节点（Node）来表示。这些节点可以相互连接，形成清晰而直观的流程图，让AI图片生成过程一目了然，并且可以通过自由组合不同的节点来搭建从简单到复杂的各种工作流程。

同时，工作流程的保存和调用也十分便捷，除了可以把工作流保存为Json文件外，还可以把之前生成的图片拖到操作界面，便连同生成该图片时所用的工作流程一并加载进来。

对比WebUI填表式的操作，ComfyUI上手难度相对较高，但是当你掌握之后，创作效率将会大大提升。在构建工作流程的同时，你更容易直观了解和学习稳定扩散AI图片生成的原理和过程。

ComfyUI的另一个亮点是它只会重新执行工作流程中在更改后需要重新运行的部分。这意味着，即使您对工作流程进行了微小的修改，也无需等待整个过程重新执行，只有受到更改影响的部分将被重新处理，为您节省了宝贵的时间。

总而言之，ComfyUI比WebUI更轻量化，且具有更简洁灵活的界面，更高效自由的工作流，资源占用更少，渲染速度更快。

关于安装ComfyUI

对于ComfyUI，因为仍然在快速的开发和迭代中，并不像传统商业软件一样下载个安装包安装就可以了，而是需要部署环境、下载模型以及安装第三方的插件等等一系列操作，具有一定的学习门槛。所幸网上的大神们已经为我们打包好了，包括本地的一件安装包、云主机的镜像包这些，基本只需简单几个步骤就可以部署完成，剩下的事情就是在AI的世界里愉快的冲浪了。

网上相关的安装教程很多，例如B站上面，即有图文的也有视频的，还提供了下载地址，需要更详细教程的同学可以去找找看。

这里介绍两种部署的方式，并详细说下云主机的部署方式。

【本地部署】

本地部署可以上GitHub搜素ComfyUI，在其发布的页面有详细的说明,并找到与您的安装(Linux、macOS或Windows)相关的部分，又或者下载网上分享出来一键安装包进行本地部署。

【云主机】

租用AI服务器，像AutoDL、OneThingAI和腾讯云这类，适合电脑配置不高，就像我一样本身使用苹果电脑的设计师。

以AutoDL为例：

1、上官网注册帐号，租用AI服务器；

2、加载社区成员发布的一键启动的ComfyUI镜像（建议选最新版本)；

3、进入控制台，在容器实例找到已开机的服务器实例（开机成功后右边会显示快捷工具列表），点击其中的jupyterlab进入启动界面，接下来仔细阅读照镜像的说明，按操作运行启动器。第一次运行会自动下载预设模型文件，请耐心等待；

容器实例

jupyterlab

启动器运行结束

4、运行结束后返回控制台的容器实例列表，点击“自定义服务”就可以进入ComfyUI的操作界面了。

容器实例

有些地区的服务器不能在线打开ComfyUI，需要通过SSH的方式本地访问，具体操作可以看页面上的视频教程。

第三方插件介绍

ComfyUI经过一段时间的发展，同样具备丰富的第三方插件，以下介绍一部分常用插件介绍。

1、Comfyui_Controlnet_Aux（ControlNet辅助预处理器插件）

用于制作ControlNet的提示图像，提供了丰富的预处理节点，包括Canny、Depth、Scribble、Tile、Lineart、Inpaint等等。

2、ComfyUI-Advanced-ControlNet （高级ControlNet节点）

用于跨时间步长和批量潜伏调度 ControlNet 强度，以及应用自定义权重和注意力掩模的节点。这里的 ControlNet 节点完全支持滑动上下文采样，就像ComfyUI-AnimateDiff-Evolved节点中使用的那样。目前支持 ControlNets、T2IAdapters、ControlLoRAs、ControlLLLite、SparseCtrls 和 SVD-ControlNets。

3、ComfyUI-AnimateDiff-Evolved（Animate动画插件）

AnimateDiff插件是一个用于生成和操作图像的强大工具，它属于Stable Diffusion模型的一个扩展。ComfyUI-AnimateDiff-Evolved改进了ComfyUI 的AnimateDiff集成，以及可在 AnimateDiff 之外使用的被称为“进化采样”的高级采样选项。

4、UltimateSDUpscale （图片终极放大器）

可以无损放大图片的插件，同时配合不同的放大模型还能增强图片细节。

5、ComfyUI-Manager （拓展管理）

ComfyUI-Manager是一个旨在增强ComfyUI可用性的扩展。它提供了安装、删除、禁用和启用ComfyUI 各种自定义节点的管理功能。此外，此扩展提供了集线器功能和便利功能，可以访问 ComfyUI 中的各种信息。

6、ComfyUI_IPAdapter_plus

IPAdapter 是非常强大的图像到图像调节模型。给定参考图像，您可以通过文本提示、控制网和遮罩进行增强的变化。将其视为单幅图像 lora。

7、ComfyUI-Impact-Pack

ComfyUI 的自定义节点包此自定义节点有助于通过 Detector、Detailer、Upscaler、Pipe 等方便地增强图像。

8、comfyui-portrait-master （肖像大师）

该节点旨在帮助AI图像创作者生成人物肖像提示。

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。