它来了！SDXL + ControlNet 终于强强联合！

最新推荐文章于 2025-03-18 13:50:50 发布

Python程序员小泉

最新推荐文章于 2025-03-18 13:50:50 发布

阅读量4.4k

点赞数 15

分类专栏： AI绘画 SD教程文章标签：人工智能 stable diffusion 开发语言 AI作画 AI绘画

本文链接：https://blog.csdn.net/m0_59162248/article/details/144905151

版权

AI绘画同时被 2 个专栏收录

539 篇文章

订阅专栏

SD教程

510 篇文章

订阅专栏

图源：reddit/Lozmosis

一、ControlNet 简介

SDXL 1.0 发布已经过去20多天，终于迎来了首批能够应用于 SDXL 的 ControlNet 模型了！

我们都知道，相比起通过提示词的方式，ControlNet 能够以更加精确的方式引导 stable diffusion 模型生成我们想要的内容。

就好比当我们想要一张“鲲鲲山水图”的时候，会发现很难通过语言来描述这样的景象。但是有了 ControlNet 之后，一切都会变得容易许多。我们只需要一张“鲲”的图片作为 ControlNet 的输入，然后在提示词框内输入山水的描述，我们的“鲲鲲山水图”就呼之欲出了。

Stable diffusion V1.5 以及基于此模型的微调模型都能使用非常多种类的 ControlNet 模型，比如 depth（深度图）、canny（边缘检测）和 openpose（人物姿势）等等。具体内容可看往期介绍 ControlNet 的内容。

那么大家可能就会会有疑问了，老版本的 ControlNet 模型能不能在 SDXL 中使用呢？

答案恐怕是“*不能*”。

由于 SDXL 的模型架构相比 SD 1.5有明显的改变，因此不能兼容以往的 ControlNet 模型。在 SDXL 正式发布之前，ControlNet 官方就已经开始着手训练适用于 SDXL 的 ControlNet 新模型，目前仍在测试阶段，正式版本应该在不久后就会公开。

那么今天要介绍的 ControlNet 模型来自哪里呢？答案是第三方。事实上，SD 1.5 使用的一些 ControlNet 模型并不是官方模型，比如广为使用的 qrcode（二维码）模型。此模型在上期制作“隐藏字”的文章中已经大展拳脚。

二、SDXL 的 ControlNet 模型

目前适用于 SDXL 的 ControlNet 模型有三个，包括 depth（深度图）、canny（线条检测）和 openpose（人物姿势检测）。

其中前两个模型为 Hugging Face 上一个称作 “diffusers” 的团队发布，这个团队为非盈利组织，由多名AI热衷者自发组建而成，发布过许多 diffusion 相关的模型。

Canny 模型生成效果示例

图源：Hugging Face/diffusers

Depth 模型生成效果示例

图源：Hugging Face/diffusers

而 openpose 模型则是由 Hugging Face 上的 “thibaud” 发布，他貌似是一个活跃于AI开源社区的大佬，之前还发布过适用于 SD 2.1 的ControlNet 模型。

Openpose 模型生成效果示例

图源：Hugging Face/thibaud

三、如何使用 SDXL ControlNet？

由于 SDXL 模型参数量较大，导致 ControlNet 的参数量也水涨船高，因此要想流畅运行 SDXL + ControlNet，需要较大的显存和内存。

性能要求：建议显存至少8G，推荐12G及以上，内存至少16G，推荐32G及以上。

如果想正常使用 SDXL ControlNet，ComfyUI 是最好的选择。后面如果能在 A1111 中使用 SDXL ControlNet，我会第一时间写一篇文章介绍，毕竟 A1111 的图形界面真的太直观，太好用了。

但是目前来看，A1111 还是比较适合运行 SD1.5 模型，对 SDXL 的支持仍然不理想，如果还要加上 ControlNet 的话，运行起来速度肯定奇慢无比，除非原作者能够专门针对 SDXL 进行底层代码优化，这工程量可能又有点大了。

因此，如果你真的很想玩转 SDXL 模型，我还是建议你开始学习使用 ComfyUI 的使用方法，这会大大要提高 SDXL 的运行速度，也能降低对电脑的性能要求。

使用 SDXL ControlNet 需要安装或下载的内容包括：

ComfyUI
ComfyUI Manager（ComfyUI的一个插件，安装后方便管理 ComfyUI 其它文件）
comfyui_controlnet_aux（ComfyUI 的自定义节点，运行 SDXL ControlNet 必备）
ControlNet 模型文件
另外，建议自备一个梯子，这能省去安装和使用过程的很多麻烦

下面一一介绍具体步骤。

**1、**ComfyUI 的简介和安装方法点击这里

**2、**安装 ComfyUI manager（ComfyUI 管理器）

①　进入 ComfyUI_windows_portable\ComfyUI\custom_nodes 路径

②　在路径框内输入 cmd，回车，打开 cmd 面板

③　输入 git clone https://github.com/ltdrdata/ComfyUI-Manager.git，回车

④　等待下载完成后，重启 ComfyUI 即可

⑤　如果下载失败，请尝试使用梯子

⑥　重启后如果你可以在右侧看到 “manager” 选项框，表示安装完成。

**3、**安装 comfyui_controlnet_aux

①　点击 “manager” 选项框，选择 “Install Custom Nodes”。如果始终不弹出自定义节点列表，请检查是否开启梯子。

②　在右上方的框内输入 controlnet，然后点击 “search”，找到如下栏目

③　点击右边的 “install”，需要注意，因为我已经安装了该自定义节点，所以才呈现两个选项，正常情况下为单个选项

④　安装好后重启一下

⑤　如果你能找到如下的栏目，则表示安装成功

**4、**下载 ControlNet 模型

请将下载的模型转移到 \ComfyUI_windows_portable\ComfyUI\models\controlnet 路径下，并将模型重命名以方便区分。

Depth（深度图检测）模型下载链接：https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0/resolve/main/diffusion_pytorch_model.safetensors
Canny（边缘检测）模型下载链接：https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0/resolve/main/diffusion_pytorch_model.safetensors
Openpose（人物姿势）模型下载链接：https://huggingface.co/thibaud/controlnet-openpose-sdxl-1.0/resolve/main/OpenPoseXL2.safetensors

另外，Depth 和 Canny 两种模型还提供了两种缩小版的模型，会损失部分性能，但能够大幅降低存储空间以及提高出图速度。原模型的大小约5G，有5x和7x的缩小版本，缩小后的模型大小分别约为 1G 和 0.7G。如果你的显存大于8G，可以下载原模型使用；如果你的显存小于8G，则还是推荐使用两个缩小版的模型。

缩小5x的 Depth 模型下载链接：https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0-mid/resolve/main/diffusion_pytorch_model.safetensors
缩小7x的 Depth 模型下载链接：https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0-small/resolve/main/diffusion_pytorch_model.safetensors
缩小5x的 Canny 模型下载链接：https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0-mid/resolve/main/diffusion_pytorch_model.safetensors
缩小7x的 Canny 模型下载链接：https://huggingface.co/diffusers/controlnet-canny-sdxl-1.0-small/resolve/main/diffusion_pytorch_model.safetensors