【AI绘画】ControlNet：一文搞懂Stable Diffusion最重要的插件

大家好，我是SD教程菌。

当你使用 Stable diffusion 生成图像时，是否有过这种经历？提示词内容在生成结果中似乎都体现出来了，但又总不是自己想要的样子，于是陷入到无限生成（抽卡）的状态，耗费大量时间，逐渐消磨兴趣、耐性及对SD的信任。

同样的文字，不同的人理解会不同，想象的画面也各不一样，机器当然也是如此，最好的办法就是“用图表达”。给SD一张参考图，让SD充分理解你的想法。俗话说，一张图胜过千言万语。

Stable Diffusion 的基本工作原理就是以文字作为引导条件，生成符合条件的图像。其短板就是无法对图像细节做精准控制，例如构图、动作、面部特征、空间关系等。ControlNet 的出现弥补了这一不足，更是成为SD绘画中必须熟练掌握的工具。

本文将带你全面了解最重要的SD辅助工具 —— ControlNet

Official ControlNet Blog Post：https://huggingface.co/blog/controlnet

一、ControlNet 是什么?

---

ControlNet 是一种增强型神经网络模型，它在SD中通过添加额外的条件来控制图像生成。可通过**[论文]**(https://arxiv.org/abs/2302.05543)了解更多。

ControlNet 有多种控制方式供选择使用（仍在不断地扩充和更迭），帮助我们应对不同的绘画需求。例如较为常用的 Canny（边缘探测）、Depth（景深探测）、Openpose（动作探测）。

举个例子：

未使用ControlNet的情况下，即便尽量用文字描述了动作细节，生成结果依然难以掌控，甚至有些细节的描述，SD也难以理解。

使用ControlNet后（以Canny为例），通过对参考图的边缘进行探测和提取，作为生成图像的附加引导条件，很好地掌控了构图和形态，提示词也精简了很多。

下图是ControlNet的其他控制方式，可以先感觉一下它们的用途和效果。（取自论文）

二、SD-WebUI 安装 ControlNet

1. 打开 Stable Diffusion WebUI 的 Extensions 页面。

2. 选择 Install from URL 选项卡。

3. 将以下地址粘贴到 URL for extension’s repository 位置。

https://github.com/Mikubill/sd-webui-controlnet.git

4. 步骤4：点击 Install，收到提示 extension is installed 即为安装成功。

5. 步骤5：重新启动sd-webui。

6. 下载模型：模型分为SD1.5和SDXL两种版本，使用时要与Checkpoint模型版本相同。

• ControlNet Models for SD1.5：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main（pth 和 yaml 文件都需要下载）

• ControlNet Models for SDXL：https://huggingface.co/lllyasviel/sd_control_collection/tree/main

• ControlNet 模型文件名含义：

7. 模型存放路径：stable-diffusion-webui\extensions\sd-webui-controlnet\models

8. 重新启动sd webui。

显存设置

由于SDXL模型能生成更高分辨率的图像，显存占用也会更高。可根据显存情况，用记事本打开 web-ui.bat ，添加对应的 COMMANDLINE 指令。

如果显存在8GB~16GB，添加 --medvram-sdxl

@echo off``   ``set PYTHON=``set GIT=``set VENV_DIR=``set COMMANDLINE_ARGS=--medvram-sdxl --xformers``   ``call webui.bat

如果显存＜8GB，添加 --lowvram-sdxl

@echo off``   ``set PYTHON=``set GIT=``set VENV_DIR=``set COMMANDLINE_ARGS=--lowvram --xformers``   ``call webui.bat

三、升级 ControlNet

---

方法1：在 SD-WebUI 升级

1. 打开 Extensions 页面；

2. 进入 Installed 选项卡，点击 Check for updates；

3. 等待完成；

4. 完全关闭SD-WebUI并重启。

方法2：通过控制台指令升级

在 stable-diffusion-webui/extensions/sd-webui-controlnet 路径内启动控制台，输入以下指令：

git pull

四、ControlNet 界面说明（SD-WebUI）

---

安装成功后，在SD-WebUI下方可以看到 ControlNet面板。

1. 导入控制素材（参考图像或蒙版）

Image Canvas：在此处添加图像，图像将被选择的预处理器处理，生成一个控制图，提供给控制模型作用于生成图像。

• Write icon：创建一个空白画板，用作手绘。

• Camera icon：通过相机拍照的方式输入图像。

2. 选择控制模型（Control Model）

• Enable：ControlNet启用开关

• Low VRAM：显存＜8GB，或批处理时提示显存不足，尝试勾选它。

• Allow Preview：允许预览预处理器的生成结果（爆炸图标是预处理按钮）。

• Control Type：过滤器

• Preprocessor：选择需要的预处理器，None 则不适用预处理器。

• Model：选择控制模型。如果选择了预处理器，则控制模型要与预处理器类型一致。

3. 控制权重（Control Weight）

• Control Weight：ContorlNet控制权重。数值越高，越接近控制素材（参考图或预处理生成图），但图像生成的发挥空间也更小。

• Starting Control Weight：从采样的哪个阶段介入控制。比如，若设定提示词为“sitting”，但参考图像是站立的，且起始控制权重（Starting Control Weight）不为0，结果很可能不是站立的。因为采样一开始是全局控制的阶段，此时ControlNet还未发挥作用，系统会先按“Sitting”的提示进行，随后ControlNet虽会介入，但要大幅改变已生成的图像内容难度较大。

• Ending Control Weight：从采样的哪个阶段结束控制。

4. 控制模式（Control Mode）

• Balanced：ControlNet控制和提示词两者平衡

• My prompt is more important：更侧重遵循提示词

• ControlNet is more important：更侧重ControlNet

5. 尺寸调整模式（Resize mode）

• Just Resize：仅缩放（不裁切），比例不同时，图像会出现拉伸变形。

• Crop and Resize：通过裁切适配尺寸

• Resize and fill：通过填充补足尺寸

五、ControlNet 预处理器和控制模型

---

选择适合的预处理器和正确的控制模型是使用ControlNet最重要的事。

• Allow Preview：允许预览预处理结果，点击预处理器右侧的 “**爆炸按钮**” 进行预处理。

• Pixel Perfect：使用文生图中设置的分辨率来预处理。

个别类型允许仅使用预处理器或控制模型，但同时使用时，模型和预处理器类型必须相同。

选用的ControlNet模型版本也必须与Checkpoint模型的版本相同。

1. Canny

Canny（https://en.wikipedia.org/wiki/Canny_edge_detector）是一款边缘探测器，用于提取参考图的边缘信息，有助于生成图像能原始参考图的构图。

Canny 预处理器：

• canny：仅一款

Canny 模型：

• control_v11p_sd15_canny：sd15仅一款

• diffusers_xl_canny_full：模型越大，越接近参考图，损失一些速度。

• diffusers_xl_canny_mid：效果不错，速度适中，我习惯选它。

• diffusers_xl_canny_small：电脑性能差的可以尝试。

• kohya_controllllite_xl_canny：基于动漫图像训练而成，适合用于动漫或绘画风格。

• kohya_controllllite_xl_canny_anime：特点同上，细节更多。

• sai_xl_canny_128lora：模型小，速度慢，很少用到。

• sai_xl_canny_256lora：同上

• t2i-adapter_xl_canny**：模型小，速度快，但依然很少用。

• t2i-adapter_diffusers_xl_canny**：同上

2. Depth

Depth 用于探测参考图像的景深信息。

Depth 预处理器：

• Depth Midas：一款经典的景深探测器。（也可以用于SDv2模型）

• Depth Leres：能获得更多的细节，也更侧重于背景。

• Depth Leres++：Depth Leres 增强版，可以捕捉更多细节。

• Zoe：介于 Midas 和 Leres 之间的细节水平。

• Depth Anything：一款增强型的模型。

• Depth Hand Refiner：用于重绘时对手的修复。

Depth 模型：

• control_v11f1p_sd15_depth：sd15仅一款

• diffusers_xl_depth_full：模型越大，越接近参考图，损失一些速度。

• diffusers_xl_depth_mid：效果不错，速度适中，我习惯选它。

• diffusers_xl_depth_small：电脑性能差的可以尝试。

• kohya_controllllite_xl_depth_anime：偏向动漫风格。

• kohya_controllllite_xl_depth：同上

• sai_xl_depth_128lora：没用过

• sai_xl_depth_256lora：没用过

• sargezt_xl_depth：据说很难用

• sargezt_xl_depth_faid_vidit：同上

• sargezt_xl_depth_zeed：同上

• t2i-adapter_diffusers_xl_depth_midas：没用过

• t2i-adapter_diffusers_xl_depth_zoe：没用过

3. OpenPose

OpenPose（https://github.com/CMU-Perceptual-Computing-Lab/openpose）主要用于捕捉人体的骨骼姿态，而不涉及外观细节（如发型、服饰、背景等）。因此，在仅对姿态有明确要求，并希望在其他画面元素上有更大创作空间时，推荐使用 OpenPose。

Openpose 预处理器：

• OpenPose：眼、鼻、脖、肩、肘、腕、膝和脚踝。

• OpenPose_face：OpenPose + 面部细节

• OpenPose_hand：OpenPose + 手和手指

• OpenPose_faceonly：仅面部细节

• OpenPose_full：上述所有，但基本被更优秀的 DWPose 取代。

• DWPose：OpenPose_full 的增强版，几乎可替代上述所有。它需要独立安装：Extensions > Install form URL，URL地址如下：

https://github.com/IDEA-Research/DWPose.git

Openpose 模型：

• control_v11p_sd15_openpose：sd15仅一款

• kohya_controllllite_xl_openpose_anime

• kohya_controllllite_xl_openpose_anime_v2

• t2i-adapter_xl_openpose

• t2i-adapter_diffusers_xl_openpose

• thibaud_xl_openpose

• thibaud_xl_openpose_256lora

技巧：

sd-webui-openpose-editor（GitHub - huchenlei/sd-webui-openpose-editor: Openpose editor for ControlNet. Full hand/face support.）：可对生成的Openpose预处理图像进行编辑，安装URL地址如下：

https://github.com/huchenlei/sd-webui-openpose-editor.git

Magic Poser（Magic Poser Web）：在线创建动作。当很难找到理想的动作参考图时，可以尝试动制作一个动作，截图后导入给Openpose。

4. Line Art（only SD1.5）

Line Art 对图像的轮廓进行重新渲染，看着似乎与Canny很类似。

Line Art 预处理器：

• Line art anime：动漫风格线条

• Line art anime denoise：动漫风格线条（更少的细节）

• Line art realistic: 写实风格线条

• Line art coarse：更粗的写实风格线条

• lineart_standard (from white bg & black line)

Line Art 模型：

• control_v11p_sd15_lineart

• control_v11p_sd15s2_lineart_anim

5. MLSD

M-LSD（GitHub - navervision/mlsd: Official Tensorflow implementation of “M-LSD: Towards Light-weight and Real-time Line Segment Detection” (AAAI 2022 Oral)）是一款直线轮廓探测器，适合用于如建筑、街景、室内等。

MLSD 预处理器：

• mlsd

MLSD 模型：

• control_v11p_sd15_mlsd

6. IP-adapter（Image Prompt adapter）

IP-adapter 用于将图片作为提示条件使用。它可以用来复制一张参考图像的风格、构图和人脸特征。可通过 [论文](https://arxiv.org/abs/2308.06721)或[Github主页](GitHub - tencent-ailab/IP-Adapter: The image prompt adapter is designed to enable a pretrained text-to-image diffusion model to generate images with image prompt.) 了解更多。

IP-adapter 几乎是当前最好的风格迁移工具，用途广泛，一定要掌握它。后续会有单独介绍它的文章。

IP-adapter 预处理器：

• ip-adapter-auto

• ip-adapter_clip_h

• ip-adapter_pulid

• ip-adapter_face_id_plus

• ip-adapter_face_id

• ip-adapter_clip_sdxl_plus_vith

• ip-adapter_clip_g

IP-adapter 模型

• ip-adapter_sd15

• ip-adapter_sd15_light

• ip-adapter-full-face_sd15

• ip-adapter-plus_sd15

• ip-adapter-plus-face_sd15

• ip-adapter_sd15_vit-G

• ip-adapter-faceid_sd15

• ip-adapter-faceid-plusv2_sd15

• ip-adapter-faceid-portrait-v11_sd15

• ip-adapter_sdxl

• ip-adapter_sdxl_vit-h

• ip-adapter-plus_sdxl_vit-h

• ip-adapter-plus-face_sdxl_vit-h

• ip-adapter-faceid_sdxl

• ip-adapter-faceid-plusv2_sdxl

• ip-adapter-faceid-portrait_sdxl

• ip-adapter-faceid-portrait_sdxl_unnorm

• ip-adapter_instant_id_sdxl

7. Tile resample

Tile resample 通过网格分块重新取样，为图像添加细节。通常与 Upscaler（图像分辨率放大）一起使用，用于放大图像。

Tile 预处理器：

• tile_resample

• tile_colorfix+sharp

• tile_colorfix

• blur_gaussian

Tile 模型：

• control_v11f1e_sd15_tile

8. Reference

Reference 是一组预处理器（它没有对应的控制模型），用于生成与参考图像相似的图像。SD模型和提示词仍然会影响图像。

Reference 预处理器：

• Reference adain：通过自适应进行风格迁移。

• Reference only：将参考图像直接链接到注意层。

• Reference adain + attn：以上两项组合。

9. Recolor

用于将黑白图像重新上色，较为依赖摄影或图像风格方面的提示词。

Recolor 预处理器：

• recolor_intensity

• recolor_luminance

Recolor 控制模型：

• sai_xl_recolor_128lora

• sai_xl_recolor_256lora

10. Normal maps

Normal map（法线图）用于确定图像像素的表面方向，类似浮雕的凹凸效果。

Normal map 预处理器：

• Normal Midas：从 [Midas] depth map 计算法线图。（侧重于主体）

• Normal Bae：使用 [normal uncertainty method] 计算法线图。（侧重整幅）

• normal_dsine

Normal map 模型：

• control_v11p_sd15_normalbae

11. Scribble

Scribble 预处理器通过探测图像中的轮廓线，生成涂鸦图，类型如下：

Scribbles 预处理器：

• Scribble HED：是一款边缘探测器，擅长生成人物的轮廓线。它适用于重新着色和重塑风格。

• Scribble Pidinet： 擅长探测曲线和直线，结果与HED类似，但细节更少。

• Scribble xdog

Scribbles 模型：

• control_v11p_sd15_scribble

12. Segmentation（only SD1.5）

Segmentation 预处理器通过不同的填充色来区分参考图像中的对象类型。[着色表](https://docs.google.com/spreadsheets/d/1se8YEtb2detS7OuPE86fXGyD269pMycAWe2mtKUj2W8/edit#gid=0)

Segmentation 预处理器类型：

• ufade20k

• ofade20k

• ofcoco

• seg_anime_face

• mobile_sam

Segmentation 模型：

• control_v11p_sd15_seg

13. Shuffle

The Shuffle 预处理器将参考图搅拌，一般用于为生成图像提供配色方案。它有几个特点：

Shuffle 预处理器类型：

• shuffle

Shuffle 模型：

• control_v11e_sd15_shuffle

Shuffle 预处理器可以独立使用，或与Shuffle模型一起使用。它的效果是随机的，受种子影响。

14. ControlNet Inpaint

ControlNet inpaint 可以在确保整图一致性的前提下，使用高重绘幅度（Denoising）进行重绘，来获得更大的变化。（SD的图生图重绘使用高Denoising会出问题）

Inpaint 预处理器：

• Inpaint_global_harmonious：允许使用高重绘幅度，并确保全局一致性。

• Inpaint_only：不改变非蒙版区域。

• Inpaint_only+lama：使用 lama 模型处理图像，通常用作移除某对象（不使用提示词）。

Inpaint 模型：

• control_v11p_sd15_inpaint

总结

---

上述列举的控制类型并非穷尽所有，而是涵盖了较为常用的几种。随着开发者们的不断创新与迭代，新的控制类型不断涌现，因此我们应当保持持续关注。ControlNet在Stable Diffusion 中扮演着至关重要的角色，为了充分发挥其潜力，我们需要通过大量的实践与练习来熟练掌握其应用。

本文的主要目的是让读者系统性地了解ControlNet，而关于它的各种实际操作用法，将在后续的案例操作文章中详细展示。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除