【AI绘画】SD入门教程：ControlNet基础入门

大家好，我是彤姐。

在使用 Stable Diffusion 的时候，你可能会希望控制构图，但通过 prompt 调整，效果并不会特别好。而 ControlNet 则是通过图片的结构信息来控制模型生成的图片。这里的结构信息，可以是简笔画，也可以是一张图片的蒙版，甚至是一张图片的边缘信息。这些信息都可以通过 ControlNet 来控制模型生成的图片。

从上图可以看到，我们在使用 ControlNet 的时候，会先将 text prompt 和图片一起输入到 ControlNet 的模型中，然后 ControlNet 的模型会生成一张 latent 图片，这张图片会作为 Conditioning 和最开始的 prompt 一起再输入到 Stable Diffusion 模型中，从而影响模型生成的图片。

通俗的讲，就是输入一些额外的控制参数，然后通过所对应的辅助模型（ControlNet专用模型）去控制图片的生成结果，这些控制参数可以是线稿图，深度图，人体姿态图，法线图等。有了这些控制参数以及辅助模型，比我们直接用提示词去生成图片输出的结果会更加精准、具体。

总结：提示词负责生成图片的内容，ControlNet负责生成图片的结构，模型负责生成图的风格。

---

！安装！

---

安装ControlNet方法还是挺多的，如下几种方案：

方案一：界面安装

1. 进入SDWebUI，在主导航栏找到扩展（extension）页签；

2. 扩展页签下找到“从网址安装”，；

3. 在这个页签下有个” 扩展的git 仓库网址”，把ControlNet的GitHub项目地址复制到输入框内；

4. 点安装就OK了，安装完成后记得重启WebUI。

方案二：GitHub安装

1. 进入项目地址：https://github.com/Mikubill/sd-webui-controlnet，找到绿色的code按钮；

2. 点击后按钮下方会延展出一个小窗口，在这个小窗口底部找到”DownloadZIP按钮“，点击下载；

3. 下载后是一个压缩包，把解压后的文件夹拖入SD目录下的”extensions“文件夹内即可。

---

使用

---

那么，安装了之后，在哪里可以找到controlnet呢？

文生图和图生图界面都能找到controlnet的操作区域；

在这个操作区域为3大板块：

1. ControlNet单元页签：一个页签代表一个ControlNet，其中包含控制类型、参数调整、上传图片等，可同时开启多个，有些应用场景需要开启多个叠加使用，比如，艺术二维码，艺术字等；

2. 上传图片区域：上传图片作为控制参考图（每种控制类型所需参考图都不一样，后面几期会讲到）；批量处理需输入文件夹的路径；

3. 控制类型分类选择，每个分类都会有一套预设的模板其中包含预处启用开关、低显存模式、完美像素模式、预览、预处理器、模型、权重、引导时机、控制模式、缩放模式及参数等，

• 启用：启动开关，必开；

• 低显存模式：显存6G以下必开，加速用的；

• 完美像素模式：新手必开，老手可以自己调整参数；

• 允许预览：打开后，可以查看控制类型预处理器的效果图，比如，选择一个canny控制类型，那么它的效果就是把原图处理成类线稿图，如下图。

• 控制权重：值越大选中的控制类型效果越强，值越小则反之；

• 引导介入时机：这里其实是生成图片进度百分比的值，比如：设置值为0.1的话那么这个控制类型在生成进度到达10%的时候启动；

• 引导终止时机：如上，比如：设置值为0.8的话就是在进度80%的时候终止，剩下的20%的进度由图像模型进行生成。
  

如何开启多个Controlnet，按下图操作步骤进行

---

！总结！

---

这一篇我们把ControlNet的原理，如何安装、如何使用都讲了一遍。下一篇我们讲一些常用的控制类型，由于这些控制类型繁多，涉及的参数也相当复杂，我计划通过多篇文章来逐一解析，同时还会分享一些实用的应用场景模板，方便大家使用。感谢您看完这篇。

---

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除