Stable Diffusion之ComfyUI安装以及简介

为什么要安装ComfyUI？

我们在文章
Stable Diffusion简介

中大致介绍了stable diffusion是什么，可以干什么。里面还提供了ComfyUI生成的一些很有意思的图。

我们有高斯模糊、锐化等一系列图像处理的算法，我们可以通过代码调用OpenCV库去做各种实验，也可以写代码去做P图。但是很显然，直接使用Photoshop或者Gimp这些图像处理软件更加容易。

同样地，我们也可以写代码调用diffuser这样的库来使用stable diffusion，进行各种创作和实验。但是有一个集成环境显然会加速我们的工作。SD WebUI和ComfyUI都是这样的环境。

如上图，ComfyUI是基于工作流的，一堆线连练练，然后就可以生成很炫的图像。

安装ComfyUI

对于普通人来说，ComfyUI有两种使用方式：

• 富农有还不错的GPU，本地安装；

• 贫农没有GPU，白嫖GPU安装。

本地安装比较简单，使用下面步骤即可：

1. 下载ComfyUI源码

   git clone https://github.com/comfyanonymous/ComfyUI   
   

2. 进入代码根目录，安装依赖

   pip install -r requirements.txt   
   

3. [可选]安装ComfyUI Manger

   进入根目录下的custom_nodes，下载ComfyUI Manager源码

   git clone https://github.com/ltdrdata/ComfyUI-Manager.git   
   

   ComfyUI Manager不安装也没关系，但是建议安装，使用它可以更容易安装一些额外的插件。

4. 下载stable diffusion模型

   使用最多的就是runwayml/stable-diffusion-v1-5以及ddd。从huggingface下载吗？非也，太慢。国内的同胞肯定选择_HF Mirror_(https://hf-mirror.com/)，速度快。

   在hf mirror搜索runwayml/stable-diffusion-v1-5，在Files and versions这个tab下可以看到所有的模型。全部下载需要的磁盘空间太大，直接拷贝v1-5-pruned.safetensors然后在ComfyUI根目录下面的models/checkpoints目录下使用wget下载

   wget https://hf-mirror.com/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.safetensors   
   

   SDXL使用同样的方式下载。

   然后把对应的vae，clip等按照自己需要下载到对应目录。

5. 启动服务

   python main.py   
   

   不出意外服务就启动起来了，可以在浏览器使用http://127.0.0.1:8188/ 即可访问。

丐版安装其实低于大多数人更实用，没有GPU嘛。

Google Colab不让白嫖之后，主要就是Kaggle了。Kaggle每个星期免费提供30ge 小时的GPU时长，平时用一下足够了。我们可以按照下面步骤在Kaggle上跑ComfyUI：

1. 注册Kaggle账号；

2. 打开ComfyUI-Kaggle(https://www.kaggle.com/code/pogscafe/comfyui-kaggle)，点击Copy & Edit 复制notebook

3. 

4. 在notebook的右边accelerator里面启用GPU，个人习惯选择2卡的T4；Persistence选择Files only，然后最下面的Internet一定记得打开，不然下载不了东西；

5. 运行Install这个cell的代码，然后运行install a model这部分代码，最后运行Start the WebUI with Pinggy这个cell的代码。最后在代码的执行结果里面可以找到链接，比如我的是 http://rnesx-34-72-96-142.a.free.pinggy.link，访问这个链接，信任该网站，然后就可以得到ComfyUI的界面。

   

❝

其实现在社区真的很友好了，只要你努力找找，各种免费资源。能不能学到东西，只在于自己懒不懒而已！

点击一下Queue Prompt，就会发现各个节点都会高亮一下，然后右边的save image下面就会出现生成的图

嗯，确实，至此为止，无论是贫穷还是富有，我们都搭建好了ComfyUI的基本环境，生成了第一张图。

Stable Diffusion模型结构

要想知道ComfyUI的默认界面为啥长这样，还是稍微了解一下模型的结构会比较好，不然容易摸不着头脑。

首先我们来看一下stable diffusion v1.5的模型结构

用户需要输入_Positive prompt_，它表示你想要生成什么的描述。比如你想生成一个女孩，那就写1girl即可。而Negative prompt是让你来描述你不想要的，比如你想要生成清晰的图，你就可以在negative prompt里面填blurry这个负向的词。用户的promt经过Text encoder(ClipTextModel)编码后可以得到text embedding。

另一方面，我们还会使用一个随机种子在一张Latent Image里面生成高斯噪声图。噪声图以及text embedding都会输入到Unet里面，使用一个调度器来调度，经过N步去噪之后得到去噪后的Latent Image，这张图经过VAE Decoder进行解码，就可以得到最终的图像。

ComfyUI的元素

上面我们提到，需要vae，需要unet，需要clip(cliptextmodel)，那这些模型怎么来？其实就是使用这个节点进行加载。

上面是输入Positive Prompt，下面是输入Negative Prompt。然后左边的clip链接Load checkpoint里面的CLIP，表示使用加载进来的clip模型来进行编码，得到text embedding。

这就对应与sd 1.5结构里面的latent image的大小。

• seed: 用来生成噪声图的种子；

• control_after_generate: 一次生成之后随机种子如何变；

• steps：去噪使用多少步；

• cfg：classifier-free guidance，使用多大的权重来偏向我们positive guidance；

• sampler_name: 使用什么采样器；

• scheduler：如果去噪的调度器

• denoise：去掉多少噪声， 1代表100%。

VAE解码器，一句话说不清楚到底是个啥，大家就理解为从去完噪声的latent image生成真实图像的组件就好了。

结语

本文到此为止，介绍了ComfyUI的安装，也简单介绍了ComfyUI默认界面的各个组件。帅哥美女们，可以开始玩起来了！Comfy UI安装包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除