『StableDiffusion基础教程之插件讲解』ControlNet基础讲解

本文简介

在学习和使用『Stable Diffusion』的过程中，『ControlNet』是一个不可忽视的关键组件。『ControlNet』是一个用于增强图像生成过程可控性的强大工具，允许用户通过提供特定的控制图像来精确指导生成结果。本文将讲解 『ControlNet』的基本概念。

安装 ControlNet

ControlNet插件仓库地址： sd-webui-controlnet

首先，在 SD WebUI 的『扩展』里，选择“从网址安装”，然后输入 https://github.com/Mikubill/sd-webui-controlnet.git 这个地址，点击安装。

等待一阵，安装成功后重启 SD WebUI，在里就能看到『ControlNet』的身影了。

ControlNet 界面功能讲解

文生图和图生图的应用

在『文生图』模式下，你可以手动加载一张图片来启动『ControlNet』功能。而在『图生图』模式下，由于该模式本身就需要加载图片，因此加载的图片会自动应用到『ControlNet』，无需额外操作。

如果你希望使用一张独立的图片作为『ControlNet』的控制图像，可以选择『上传独立的控制图像』选项，然后在图生图界面中单独上传。

控制单元配置

回到『文生图』面板，可以看到我有5个『ControlNet控制单元』，即最多可以同时激活5个控制单元。如果需要使用更多的控制单元，可以在『设置』中调整『多重 ControlNet: ControlNet 单元数量』，调整后保存并重启 UI 界面即可。

启用 ControlNet

使用『ControlNet』时，务必勾选要启用的控制单元，否则它们将不会生效。启用的控制单元标题会变成绿色，并且『ControlNet』标题后面会显示已启用的数量。

显存管理

开启『ControlNet』会增加显存的负担。如果出现显存不足的提示，可以尝试启用“低显存模式”。可以降低爆显存的概率，但这会降低处理速度。

完美像素模式

启用『完美像素』让『ControlNet』自适应匹配设置的输出图像的宽度，高度根据输入原图像自动计算。开启后会隐藏 Resolution 滑动条（分辨率）。

比如，『控制类型』选择『Canny（硬边缘）』时，会看到一个默认分辨率为512的预处理器分辨率。当启用“完美像素模式”后，系统会自动设置预处理分辨率，通常为最低可用分辨率。如果需要更高精度的结果（如高清线稿图），则需要手动设置分辨率。

预览功能

一般情况下不需要手动开启『允许预览』，直接点击下方的爆炸图标就会自动开启“允许预览”功能并显示结果。

拿『Depth（深度）』举例。

控制类型和预处理器

『ControlNet』有很多不同的『控制类型』，每种『控制类型』都有自己专属的『预处理器』。每种『控制类型』必须搭配相应的『模型』才能生效。需要为『ControlNet』安装相应的『模型』，所有『模型』都可以从 Hugging Face 下载。

链接放这：huggingface.co/lllyasviel/…

新版模型增加了对 SDXL 的支持。可选『模型』非常多，但不必全部下载。例如，『Canny』模型有 full、mid、small 三个版本，full 版本效果最好但资源占用最大。如果计算机性能足够，推荐使用 full 版本。

这些模型是由不同的团队开发的，比如 kohya、sai 等，而 t2i 开头的模型是腾讯开发的。

下载后，把模型放在 extensions/sd-webui-controlnet/models 文件夹里就行了。

控制权重

控制权重决定『ControlNet』对生成结果的影响程度。数值越高，生成结果越严格按照 『ControlNet』的处理结果生成；数值越低，AI 有更多自由发挥的空间，也会偏向于按照提示词的内容去生成图片。

『引导介入时机』和『引导终止时机』也用于调整『ControlNet』的控制强度。『引导介入时机』设为 0.2 表示图像生成 20% 时『ControlNet』开始介入；『引导终止时机』设为 0.8 表示图像生成 80% 时『ControlNet』停止影响。

控制模式和缩放模式

『控制模式』提供均衡、更偏向提示词、更偏向『ControlNet』三种选项，字面意思即可理解。

『缩放模式』与『图生图』模式中的缩放功能一致，也是根据字面意思操作。

 最后想说

AIGC（AI Generated Content）技术，即人工智能生成内容的技术，具有非常广阔的发展前景。随着技术的不断进步，AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望：

1、AIGC技术将使得内容创造过程更加自动化，包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率，降低成本。2、在游戏、电影和虚拟现实等领域，AIGC技术将能够创造更加丰富和沉浸式的体验，推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念，提高创意过程的效率。

未来，AIGC技术将持续提升，同时也将与人工智能技术深度融合，在更多领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程。

对于从来没有接触过AI绘画的同学，我已经帮你们准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

AIGC学习必备工具和学习步骤

工具都帮大家整理好了，安装就可直接上手

现在AI绘画还是发展初期，大家都在摸索前进。

但新事物就意味着新机会，我们普通人要做的就是抢先进场，先学会技能，这样当真正的机会来了，你才能抓得住。

如果你对AI绘画感兴趣，我可以分享我在学习过程中收集的各种教程和资料。

学完后，可以毫无问题地应对市场上绝大部分的需求。

这份AI绘画资料包整理了Stable Diffusion入门学习思维导图、Stable Diffusion安装包、120000+提示词库，800+骨骼姿势图，Stable Diffusion学习书籍手册、AI绘画视频教程、AIGC实战等等。

【Stable Diffusion安装包（含常用插件、模型）】

【AI绘画12000+提示词库】

【AI绘画800+骨骼姿势图】

【AI绘画视频合集】

还有一些已经总结好的学习笔记，可以学到不一样的思路。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。