一步步带你解锁Stable Diffusion：ControlNet 保姆级入门介绍

安装

ControlNet 为什么在 SD 中很重要呢，因为 ControlNet 真正让 SD 做到了让图像生成进入了可控时代，至于什么叫做可控，小伙伴们继续看下去就知道啦！

首先我们先来介绍一下 ControlNet 的安装吧，还是插件的安装方式，在扩展中搜索「sd-webui-controlnet」，然后点击安装，重启 SD 。

在 SD 的文生图或者图生图模式下，页面往下翻可以看到有一个 ControlNet 的选项，就说明安装成功了。

ControlNet 插件安装好以后还需要安装 ControlNet 模型，模型下载地址：

https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

总共有 14 个基础模型，依次下载模型名为「.pth」的文件，小伙伴们不要下载错了哈，认准那个「1.45 GB」的。

下载完成以后放入 SD 的 ControlNet 目录下。

\sd-webui-aki-v4.1\models\ControlNet

接下来我们继续来分享 ControlNet 的页面功能，我们接下来一个一个介绍哈。

启用： 是否启用当前 ControNet 功能，如果你要启用多个 ControlNet ，你就多个 ControNet 都勾选启用。

低显存模式： 如果你的显卡低于 6G ，建议勾选该选项，原因你懂的。

完美像素模式： 让 ControlNet 自适应预处理器分辨率，勾选以后，「Preprocessor Resolution」选项会消失。

允许预览： 预览预处理处理的效果。

控制类型： 相当于选择预处理器和模型的快捷目录，点击需要的控制类型，会自动加载对应的预处理器和模型。

预处理： 预处理器下拉菜单，和模型搭配使用。**

模型： 模型下拉菜单，也就是我们下载的各种模型，每个模型都有不同的功能。**

控制权重： ControlNet 输出的权重大小，权重越大，影响越大。

引导介入时机： 我们都知道 SD 有迭代步数，这里就是从哪一步开始介入图像的处理，设置为 0 ，则代表从一开始就介入，设置为 0.5 ，则代表从中间步数的时候介入处理。

**引导终止时机：**和以上相反，从哪一步退出对图像的处理。

控制模式： 主要有三种模式：均衡、更偏向提示词、更偏向 ControlNet ，就是字面意思，听雨就不多解释了。

缩放模式： 也分为三种：仅调整大小、裁剪后缩放、缩放后填充空白

仅调整大小：直接拉伸，比例不对会出现变形。裁剪后缩放：会丢失原图部分内容。缩放后填充空白：会在原图上产生新的内容。

回送： 字面意思，把生成以后的图像送回 ControlNet 。

模型介绍

接下来我们就来简单介绍一下各个模型的功能特点：

Canny： 硬边缘，可以很好的识别出图像的中各个对象的边缘轮廓，比较适合给线稿图上色。

可以看到「low threshold」和「high threshold」的值越低，检测到的点线就越多。

启用 ControlNet 插件，输入一个简单的提示词「1girl」，然后点击生成，可以看到以上的线稿图就已经完成上色啦，一键线稿上色有么有。

—

Depth： 通过提取原始图片中的深度信息，生成具有同样深度结构的深度图，以一张照片为例，越白代表点线离镜头越近，越黑代表点线离镜头越远。

可以看到图像的还原度还是很可以的，可以给我们的原图生成不同的出片风格。

depth 还可以运用在家装设计上，你可以使用该功能生成不同的家装设计风格。同样的布局，可以尝试更多的风格有么有。

我们还可以看到 depth 有四种算法选择，四种算法各有千秋，Zoe 和Midas 的 3D 景深效果还原更好，Zoe 比 Midas 还原细节上更好。Leres 可以考虑环境比较简单的平面图，Leres++是 Leres 的升级版。

—

Normal： 法线贴图，用来改善表面细节和真实感，相比 depth 模型保留了更多的细节。法线贴图在游戏的制作领域运用的比较多。

—

OpenPose： 姿势检测模型，如果小伙伴们使用过 ControlNet 呢，对这个模型一定不陌生吧，它主要用于我们全方位的控制人物姿势。

以下是 OpenPose 支持的预处理器，以及每个预处理器对应的功能，这里重点讲一下 dw_openpose_full 预处理器，这个是最近刚更新的 OpenPose 预处理器，是 openpose_full 的升级版本，识别姿势方面比 openpose_full 更精确。

如果小伙伴们选择 dw_openpose_full 预处理器点击预览的时候报错，那可能是预处理器下载失败，小伙伴们可以手动下载。

下载地址：

https://huggingface.co/yzd-v/DWPose/resolve/main/dw-ll_ucoco_384.onnx

下载完成以后复制到 SD 以下文件夹目录下就可以了。

\sd-webui-aki-v4.1\extensions\sd-webui-controlnet\annotator\downloads\openpose

—

MLSD： 适用于直接线条结构多的比如建筑设计和室内设计，只要简单的线稿图配上提示词，就可以得到让你惊喜的设计。

配合提示词「room」，最终出图效果，是不是很 nice ，你还可以调整不同的提示词来得到你想要的效果，设置自己想要的风格，比如你可以在提示词中加入中式风格，欧式风格，简约风格等等。

简单介绍一下MLSD模型两个参数，小伙伴们通过调整「MLSD Value Threshold」可以发现，值越小，预览图中的直线线条越多，值越大，直线线条越少。

通过调整「MLSD Distance Threshold」的值大小，值越越大，预览图中一些边角的线条会消失，使得整体的轮廓更加清晰。

—

**Lineart：**主要用来提取图像的线稿，在线稿的基础上生成图像。主要有以下几种效果提取预处理器。小伙伴们可以根据自己的需求选择不同的线稿提取方式。

感觉功能是不是和Canny差不多，是差不多，应用场景的话可以重新给动漫人物上色。

—

**SoftEdge：**软边缘和 Canny 的硬边缘相反，其实它们的功能都差不多。

SoftEdge相比 Canny ，只能识别图像的大概轮廓，线条比较柔和，可以给 SD 更多的想象空间。

—

**Scribble：**涂鸦，字面意思就是可以把我们随手涂鸦的东东，变成一幅画。辅助提示词可以让 SD 更加明白我们的的意思。

—

**Seg：**语义分割，把图像根据不同的场景分割成不同的色块。

每个色块代表的含义都不一样。小伙伴们可以根据以下的色块通过 ps 等软件修改对应的色块来生成新的物体。

—

**Shuffle：随机洗牌，通过随机打散再扩散重组图像。可以看到预处理器中图像被拆散重组了，不过这可不是最终出图效果哦！其实 Shuffle 真正的功能是风格转移，就是可以把别的图像的风格转移到我们的图像上。
**

提示词「1girl」，最终出图风格会偏向于我们预处理的图片。

—

**Tile：**分块，它的用法有很多种。可以用来恢复画质，真人变动漫，动漫变真人。

可以看到Tile模型新增了「Down Sampling Rate」向下采样率，这个参数主要是用来缩小参考图的分辨率，缩小分辨率的同时会丢失更多的细节，最终出图的时候，随机性就更大。所以这个参数值越大，出图的随机性就越大，和原图的关联性就越小。

我们来看Tile模型的第一个功能，恢复画质，或者说增强细节。可以看到以下的低分辨的图片，通过tile变清晰了，细节也更多了。

真人转动漫，准备一个动漫的大模型就可以了。

动漫转真人，准备一个真人大模型就可以了。

—

**局部重绘：**和图生图的局部重绘差不多。

—

**IP2P：**给图像加个特效，用法是「make it xxx」。

比如，以下的图片，在提示词中输入「make it winter」让它过冬。冬天的特效是不是就加上了。

—

**Reference：**参考，可以保留原图的整体风格。有点类似 Lora 的感觉有么有。

—

**T2IA：**主要是参考原图的颜色，将原图像素化以后重新生成新的图像。

颜色风格是不是蛮一致的。

今天的分享到这里了哦，以上就是 ControlNet 的基本介绍啦，小伙伴们学会了嘛！

早点开启AI学习，给自己的人生来个翻天覆地的变化吧！

如果你也对AI技术感兴趣感兴趣，可以下方扫码免费领取一份AI技术入门资料包wx扫描二v码免费领取【保证100%免费】

在可预见的未来，随着AI大范围在职场推广，使用门槛降低，部分还在做重复工作的打工人会不可避免地被取代。

这也是为什么身边越来越多人都在学AI。

负责任地说，这是AI离普通人超近的一次。它——

• 很简单： 只要你有一个浏览器，登录一个网页，会打字、会聊微信就能够直接使用。

• 很实用： 任何上班族，无论你的工作涉及文字、图片、数字，或是办公软件全家桶，它都能成为你的高效助理。

• 很聪明： AI如同一个六边形战士，当你有个绝妙点子，它能随时点亮技能树，用编程、写作、绘画技能把你的想法落地。
  
  随着人工智能的推广，具备AI技能的人将更容易适应未来岗位需求，成为早期吃到红利的稀缺人才。