一步步带你解锁Stable Diffusion：ControlNet 保姆级入门介绍

ControlNet 可以实现怎样的功能，为什么可以和 SD 文生图和图生图并列重要呢。
小伙伴们看接下来的分享就知道了。
所有的AI设计工具，模型和插件，都已经整理好了，文末扫码即可免费获取噢~

安装

ControlNet 为什么在 SD 中很重要呢，因为 ControlNet 真正让 SD 做到了让图像生成进入了可控时代，至于什么叫做可控，小伙伴们继续看下去就知道啦！

首先我们先来介绍一下 ControlNet 的安装吧，还是插件的安装方式，在扩展中搜索「sd-webui-controlnet」，然后点击安装，重启 SD 。

在 SD 的文生图或者图生图模式下，页面往下翻可以看到有一个 ControlNet 的选项，就说明安装成功了。

ControlNet 插件安装好以后还需要安装 ControlNet 模型，模型下载地址：

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

总共有 14 个基础模型，依次下载模型名为「.pth」的文件，小伙伴们不要下载错了哈，认准那个「1.45 GB」的。

下载完成以后放入 SD 的 ControlNet 目录下。

\sd-webui-aki-v4.1\models\ControlNet

接下来我们继续来分享 ControlNet 的页面功能，我们接下来一个一个介绍哈。

**启用：**是否启用当前 ControNet 功能，如果你要启用多个 ControlNet ，你就多个 ControNet 都勾选启用。

**低显存模式：**如果你的显卡低于 6G ，建议勾选该选项，原因你懂的。

**完美像素模式：**让 ControlNet 自适应预处理器分辨率，勾选以后，「Preprocessor Resolution」选项会消失。

**允许预览：**预览预处理处理的效果。

**控制类型：**相当于选择预处理器和模型的快捷目录，点击需要的控制类型，会自动加载对应的预处理器和模型。

**预处理：**预处理器下拉菜单，和模型搭配使用。

**模型：**模型下拉菜单，也就是我们下载的各种模型，每个模型都有不同的功能。

控制权重： ControlNet 输出的权重大小，权重越大，影响越大。

**引导介入时机：**我们都知道 SD 有迭代步数，这里就是从哪一步开始介入图像的处理，设置为 0 ，则代表从一开始就介入，设置为 0.5 ，则代表从中间步数的时候介入处理。

**引导终止时机：**和以上相反，从哪一步退出对图像的处理。

**控制模式：**主要有三种模式：均衡、更偏向提示词、更偏向 ControlNet ，就是字面意思，听雨就不多解释了。

**缩放模式：**也分为三种：仅调整大小、裁剪后缩放、缩放后填充空白

仅调整大小：直接拉伸，比例不对会出现变形。``裁剪后缩放：会丢失原图部分内容。``缩放后填充空白：会在原图上产生新的内容。

**回送：**字面意思，把生成以后的图像送回 ControlNet 。

—

模型介绍

接下来我们就来简单介绍一下各个模型的功能特点：

**Canny：**硬边缘，可以很好的识别出图像的中各个对象的边缘轮廓，比较适合给线稿图上色。

可以看到「low threshold」和「high threshold」的值越低，检测到的点线就越多。

启用 ControlNet 插件，输入一个简单的提示词「1girl」，然后点击生成，可以看到以上的线稿图就已经完成上色啦，一键线稿上色有么有。

—

**Depth：**通过提取原始图片中的深度信息，生成具有同样深度结构的深度图，以一张照片为例，越白代表点线离镜头越近，越黑代表点线离镜头越远。

可以看到图像的还原度还是很可以的，可以给我们的原图生成不同的出片风格。

depth 还可以运用在家装设计上，你可以使用该功能生成不同的家装设计风格。同样的布局，可以尝试更多的风格有么有。

我们还可以看到 depth 有四种算法选择，四种算法各有千秋，Zoe 和Midas 的 3D 景深效果还原更好，Zoe 比 Midas 还原细节上更好。Leres 可以考虑环境比较简单的平面图，Leres++是 Leres 的升级版。

—

**Normal：**法线贴图，用来改善表面细节和真实感，相比 depth 模型保留了更多的细节。法线贴图在游戏的制作领域运用的比较多。

—

OpenPose：姿势检测模型，如果小伙伴们使用过 ControlNet 呢，对这个模型一定不陌生吧，它主要用于我们全方位的控制人物姿势。

以下是 OpenPose 支持的预处理器，以及每个预处理器对应的功能，这里重点讲一下 dw_openpose_full 预处理器，这个是最近刚更新的 OpenPose 预处理器，是 openpose_full 的升级版本，识别姿势方面比 openpose_full 更精确。

如果小伙伴们选择 dw_openpose_full 预处理器点击预览的时候报错，那可能是预处理器下载失败，小伙伴们可以手动下载。

下载地址：

https://huggingface.co/yzd-v/DWPose/resolve/main/dw-ll_ucoco_384.onnx

下载完成以后复制到 SD 以下文件夹目录下就可以了。

\sd-webui-aki-v4.1\extensions\sd-webui-controlnet\annotator\downloads\openpose

—

MLSD：适用于直接线条结构多的比如建筑设计和室内设计，只要简单的线稿图配上提示词，就可以得到让你惊喜的设计。

配合提示词「room」，最终出图效果，是不是很 nice ，你还可以调整不同的提示词来得到你想要的效果，设置自己想要的风格，比如你可以在提示词中加入中式风格，欧式风格，简约风格等等。

简单介绍一下MLSD模型两个参数，小伙伴们通过调整「MLSD Value Threshold」可以发现，值越小，预览图中的直线线条越多，值越大，直线线条越少。

通过调整「MLSD Distance Threshold」的值大小，值越越大，预览图中一些边角的线条会消失，使得整体的轮廓更加清晰。

—

**Lineart：**主要用来提取图像的线稿，在线稿的基础上生成图像。主要有以下几种效果提取预处理器。小伙伴们可以根据自己的需求选择不同的线稿提取方式。

感觉功能是不是和Canny差不多，是差不多，应用场景的话可以重新给动漫人物上色。

—

**SoftEdge：**软边缘和 Canny 的硬边缘相反，其实它们的功能都差不多。

SoftEdge相比 Canny ，只能识别图像的大概轮廓，线条比较柔和，可以给 SD 更多的想象空间。

—

**Scribble：**涂鸦，字面意思就是可以把我们随手涂鸦的东东，变成一幅画。辅助提示词可以让 SD 更加明白我们的的意思。

—

**Seg：**语义分割，把图像根据不同的场景分割成不同的色块。

每个色块代表的含义都不一样。小伙伴们可以根据以下的色块通过 ps 等软件修改对应的色块来生成新的物体。

—

**Shuffle：**随机洗牌，通过随机打散再扩散重组图像。可以看到预处理器中图像被拆散重组了，不过这可不是最终出图效果哦！其实 Shuffle 真正的功能是风格转移，就是可以把别的图像的风格转移到我们的图像上。

提示词「1girl」，最终出图风格会偏向于我们预处理的图片。

—

**Tile：**分块，它的用法有很多种。可以用来恢复画质，真人变动漫，动漫变真人。

可以看到Tile模型新增了「Down Sampling Rate」向下采样率，这个参数主要是用来缩小参考图的分辨率，缩小分辨率的同时会丢失更多的细节，最终出图的时候，随机性就更大。所以这个参数值越大，出图的随机性就越大，和原图的关联性就越小。

我们来看Tile模型的第一个功能，恢复画质，或者说增强细节。可以看到以下的低分辨的图片，通过tile变清晰了，细节也更多了。

真人转动漫，准备一个动漫的大模型就可以了。

动漫转真人，准备一个真人大模型就可以了。

—

**局部重绘：**和图生图的局部重绘差不多。

—

**IP2P：**给图像加个特效，用法是「make it xxx」。

比如，以下的图片，在提示词中输入「make it winter」让它过冬。冬天的特效是不是就加上了。

—

**Reference：**参考，可以保留原图的整体风格。有点类似 Lora 的感觉有么有。

—

**T2IA：**主要是参考原图的颜色，将原图像素化以后重新生成新的图像。

颜色风格是不是蛮一致的。

今天的分享到这里了哦，以上就是 ControlNet 的基本介绍啦，小伙伴们学会了嘛！
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除