AI绘画SD万能模型 ControlNet Union （也称ControlNet++ 或 ControlNetPlus）！10余种控制效果一键生成！-CSDN博客

本文链接：https://blog.csdn.net/A1353192296/article/details/140656842

大家好，我是画画的小强

Controlnet 可以说是目前最重要的一款 AI 绘画控制插件，可以帮我们实现轮廓、深度、动作姿势、颜色等多种控制效果。由于每种控制条件都需要调用不同的控制模型，加上 SD1.5 和 SDXL 的生态并不互通，大家肯定都至少安装了十几种模型文件，给磁盘空间带来了很大的压力。

最近一款名为 ControlNet++ 的模型却改变了这个状况，它将十多种控制功能合为一体，只需要安装一个模型，就能和多种不同的预处理器搭配使用，今天就来看看它的具体用法。

一、ControlNet++简介

ControlNet++，也称为 ControlNetPlus，目前更普遍的称呼是 Controlnet Union，它是一款新训练的 ControlNet 控制架构，融合了 10 多种控制模型，适用于 SDXL 1.0 生态。与独立控制模型相比，它的处理效果没有明显下降，使用起来也非常方便，所以推出后很快就受到了广泛关注。

在这里插入图片描述

Controlnet Union 融合的控制类型一共有 13 种，可以分为 6 大类：

openpose 动作姿势
depth 深度
thick line 粗线条 (包括：scribble / hed / softedge / ted-512 )
thin line 细线条 (包括：canny / mlsd / lineart / animelineart / ted-1280 )
normal 法线贴图
segment 语义分割

除了单独使用，Controlnet Union 也支持多重控制。也就是我们可以同时开两个控制窗口，使用不同的预处理器，然后同时选择 Controlnet Union 做为控制模型，这样运行起来显存压力更小。

在这里插入图片描述

Controlnet Union 的模型权重已经开源，目前 SD WebUI 和 ComfyUI 都可以使用，下面介绍具体的安装方法。

二、在 SD WebUI 中使用

模型下载链接： https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main
（如无法下载，请看文末扫描免费获取模型文件）

下载名为 diffusion_pytorch_model.safetensor 的模型文件，为了方便识别，将其名称改为 controlnet++_union_sdxl.safetensor，然后放到根目录的 extensions\sd-webui-controlnet\models 文件夹中。
在这里插入图片描述

将 Controlnet 插件更新到最新版本，然后启动 WebUI，就能在 Controlnet 控制列表里看到 controlnet union 的选项了，使用时记得选择 SDXL 系列的大模型。我的显存是 8G，在用 controlnet union 时出现了内存不足的报错，但是使用独立模型时不会有这样的问题，感觉 union 还是会需要更高的 VRAM。

在这里插入图片描述

另外 controlnet union 目前不适用于以下预处理器：

带面部和手部的姿势骨架的模型，比如 openpose_full，openpose_hand、openpose_faceonly 等，因为 union 没有对这些内容进行训练，生成的图像会出现错误。
seg_ofade20k 语义分割预处理器。

在这里插入图片描述

三、在 ComfyUI 中使用

如果想在 ComfyUI 中使用 Controlnet Union，同样先下载文件，改名后并安装到 ComfyUI\models\controlnet 文件夹，或者 SD WebUI 共用路径中的 models\controlnet 文件夹中（模型资源看下方扫描免费获取哦）。

下图是一个最基础的 controlnet 调用工作流（看上方扫描免费获取哦），在 ComfyUI 中运行起来非常顺利，没有出现爆显存的情况。运行此工作流前，需要注意：

图像尺寸记得与上传的图像保持一致；
选择 SDXL 大模型，如果模型不同，生成步数、CFG、采样器等参也需要同步修改；
检查是否正确地选择了 controlnet union 模型。

在这里插入图片描述

我还搭建了一个多重控制工作流，可以同时使用两种控制条件（超过两个后 controlnet union 的效果就会变差），使用时可以多尝试不同的 contorlnet 强度，获取更好的效果。对于新手来说，可以先熟悉这两个基础工作流的节点构成，等熟悉之后就能将 controlnet union 结合到其他更复杂的工作流中了。

在这里插入图片描述

那么以上就是对新的 AI 绘画控制模型 Controlnet Union 的介绍，从总体上来说它的效果还是不错的，而且使用更方便，也省空间，非常推荐大家都使用。当然如果你想要更精致的出图效果，用最新的独立模型效果肯定会更好。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权，请联系删除