Stable Diffusion ComfyUI 基础教程（八）如何使用 Controlnet

前言：

1. 终于到了最激动人心的时刻，我们使用 Stable Diffusion 最重要的就是他的可控性，其中 Controlnet（控制网络）的作用居功至伟，它可以引入更多的条件来让我们出图更加可控。
2. 在最开始之前我们需要安装 Controlnet 预处理器插件以及下载 Controlnet 模型：
3. Controlnet 预处理器插件：
4. 插件地址： https://github.com/Fannovel16/comfyui_controlnet_aux.git
5. 如果安装后，运行 ComfyUI 显示无法导入插件，请运行“ComfyUI\custom_nodes\comfyui_controlnet_aux”目录下的“install.bat”文件
6. Controlnet 模型：
7. 常用模型我会放在本节课文件链接里面；
8. 模型存放位置在: “ComfyUI_windows_portable\ComfyUI\models\controlnet”目录下，如果你是和 Web UI 共用的模型，那就要看你第一节课设置的是插件下的还是 “models” 下的位置了。

创建流程：

需要有哪些操作：

1. 为了能让大家更直观的了解使用 Controlnet 需要有哪些操作，我先以 Web UI 上的 Controlnet 为例：

1. 我们可以看到在使用 Controlnet 插件时，需要我们加载图像、选择预处理器、加载 Controlnet 模型，以及控制权重、控制引导介入时机、控制引导终止时机；
2. 好了，开始正题，我们还是以“万能的文生图”为基础，先打开“文生图基础流程”，我们这个基础上把 Controlnet 流程加进去。

预处理器：

1. Controlnet 预处理器分有很多，比如：线条、面部与姿态、法向与深度、语义分割、颜色、Tile平铺等多个类型，并且每个类型又有多个预处理器，我们先以线条中的 Canny细致线预处理器为例，后面我会分别介绍他们有什么作用，以及怎么使用；
2. 先“右键-新建节点-图像-加载图像”去加载图像，这个应该都会了吧。然后我们再去选择 Controlnet 预处理器，“右键-新建节点-Controlnet预处理器-线条-Canny细致线预处理器”

1. 这一步是我们预处理器最重要的地方，我们可以把“加载图像”与“预处理器进行连接”，并且在右侧连接一个“预览图像”，然后跑一下，看看效果。

1. 可以看到，我们的图片已经被处理成黑底白色的线稿，这个线稿就是我们使用 Controlnet 之前的必备条件；
2. 当然，如果我们有已经处理好的图片，我们就可以省略“预处理器”这一步，直接进行下一步就可以了。

Controlnet：

1. 图片已经处理好了，我们这时候就需要去加载选择 Controlnet 模型的节点，以及用来进行权重控制的节点；
2. “右键-新建节点-Controlnet加载器”

1. “右键-新建节点-条件-Controlnet应用”，这时候我们会看到两个 Controlnet应用节点，分别是 Controlnet应用、Controlnet应用（高级）：

1. 强度：就是我们用来控制权重的，还记得上节课 Lora 权重的控制吗，是一个意思；
2. 开始时间：我们在绘图时，Controlnet 什么时候进行控制；
3. 结束时间：我们在绘图时，Controlnet 什么时候结束控制；
4. 相比较，Controlnet应用只能用来控制权重，开始/结束时间采用默认0/1。另外 Controlnet应用（高级）需要去连接负面关键词。我们根据自己的使用选择就可以，我一般使用 Controlnet应用（高级）；

工作流：

1. 我们使用 Controlnet 所需要的节点都已经加载出来了，我们把他们连接起来，并添加到“文生图基础流程”中；
2. 我们把“预处理器”处理好的图像以及“Controlnet加载器”分别连接到“Controlnet应用”；
3. 选择 Controlnet 模型，这时候我们一定要选择对应功能、对应版本的模型：
4. 比如我们用的 Canny 预处理器，那我们就要选择 Canny 的 Controlnet 模型（我会在挨个介绍预处理器的时候给大家讲解，他们分别对应哪些模型）；
5. 我们出图采用的是 SD1.5 的大模型，那我们就要去选择 SD1.5 的 Controlnet 模型；
6. 我给大家演示用的是 SD1.5 的大模型，那我就选择了“control_v11p_sd15_canny”这个模型。
7. “正/反CLIP文本编码器”连接“Controlnet应用”，“Controlnet应用”连接“K采样器”

1. 我们可以看到我通过一个二次元大模型以及关键词控制后，得到一张相同细节的二次元图像。

多个Controlnet如何连接：

大家学习 ComfyUI 有段时间了，应该能猜到多个 Controlnet 怎么连接吧，我们在“Controlnet应用”后面再串联个“Controlnet应用”就可以了，其余的该连 Controlnet 模型的连模型，该连 Controlnet 预处理器的连预处理器。

后续课程规划：

1. 到这我们的 ComfyUI 基础教程就已经结束，在接下来的课程中我会带给大家带来更精深的课程，比如：
2. Controlnet 各种预处理器以及模型的详细讲解；
3. 如何使用“LCM模型&Turbo模型”进行快速出图和实时绘图；
4. 如何使用 AnimateDiff 插件生成视频动画；
5. 如何使用 Stable Video Diffusion 模型进行图生视频；
6. 如何使用 Stable Zero 123 模型生成多角度图像并生成视频。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】