AI绘画ComfyUI超强工作流:突破SD模型尺寸限制,直出任意长款比例高清分辨率图像!AI绘画商业应用必看教程!

Controlnet 可以说是目前最重要的一款 AI 绘画控制插件,可以帮我们实现轮廓、深度、动作姿势、颜色等多种控制效果。由于每种控制条件都需要调用不同的控制模型,加上 SD1.5 和 SDXL 的生态并不互通,大家肯定都至少安装了十几种模型文件,给磁盘空间带来了很大的压力。

最近一款名为 ControlNet++ 的模型却改变了这个状况,它将十多种控制功能合为一体,只需要安装一个模型,就能和多种不同的预处理器搭配使用,今天就来看看它的具体用法。

一、ControlNet++简介

ControlNet++,也称为 ControlNetPlus,目前更普遍的称呼是 Controlnet Union,它是一款新训练的 ControlNet 控制架构,融合了 10 多种控制模型,适用于 SDXL 1.0 生态。与独立控制模型相比,它的处理效果没有明显下降,使用起来也非常方便,所以推出后很快就受到了广泛关注。

在这里插入图片描述

Controlnet Union 融合的控制类型一共有 13 种,可以分为 6 大类:

  1. openpose 动作姿势
  2. depth 深度
  3. thick line 粗线条 (包括:scribble / hed / softedge / ted-512 )
  4. thin line 细线条 (包括:canny / mlsd / lineart / animelineart / ted-1280 )
  5. normal 法线贴图
  6. segment 语义分割

除了单独使用,Controlnet Union 也支持多重控制。也就是我们可以同时开两个控制窗口,使用不同的预处理器,然后同时选择 Controlnet Union 做为控制模型,这样运行起来显存压力更小。

在这里插入图片描述

Controlnet Union 的模型权重已经开源,目前 SD WebUI 和 ComfyUI 都可以使用,下面介绍具体的安装方法。

二、在 SD WebUI 中使用

模型下载链接: https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main
(如无法下载,请看文末扫描免费获取模型文件)

下载名为 diffusion_pytorch_model.safetensor 的模型文件,为了方便识别,将其名称改为 controlnet++_union_sdxl.safetensor,然后放到根目录的 extensions\sd-webui-controlnet\models 文件夹中。
在这里插入图片描述

将 Controlnet 插件更新到最新版本,然后启动 WebUI,就能在 Controlnet 控制列表里看到 controlnet union 的选项了,使用时记得选择 SDXL 系列的大模型。我的显存是 8G,在用 controlnet union 时出现了内存不足的报错,但是使用独立模型时不会有这样的问题,感觉 union 还是会需要更高的 VRAM。

在这里插入图片描述

另外 controlnet union 目前不适用于以下预处理器:

  1. 带面部和手部的姿势骨架的模型,比如 openpose_full,openpose_hand、openpose_faceonly 等,因为 union 没有对这些内容进行训练,生成的图像会出现错误。
  2. seg_ofade20k 语义分割预处理器。

在这里插入图片描述

三、在 ComfyUI 中使用

如果想在 ComfyUI 中使用 Controlnet Union,同样先下载文件,改名后并安装到 ComfyUI\models\controlnet 文件夹,或者 SD WebUI 共用路径中的 models\controlnet 文件夹中(模型资源看下方扫描免费获取哦)。

下图是一个最基础的 controlnet 调用工作流(看上方扫描免费获取哦),在 ComfyUI 中运行起来非常顺利,没有出现爆显存的情况。运行此工作流前,需要注意:

  1. 图像尺寸记得与上传的图像保持一致;
  2. 选择 SDXL 大模型,如果模型不同,生成步数、CFG、采样器等参也需要同步修改;
  3. 检查是否正确地选择了 controlnet union 模型。

在这里插入图片描述

我还搭建了一个多重控制工作流,可以同时使用两种控制条件(超过两个后 controlnet union 的效果就会变差),使用时可以多尝试不同的 contorlnet 强度,获取更好的效果。对于新手来说,可以先熟悉这两个基础工作流的节点构成,等熟悉之后就能将 controlnet union 结合到其他更复杂的工作流中了。

在这里插入图片描述

那么以上就是对新的 AI 绘画控制模型 Controlnet Union 的介绍,从总体上来说它的效果还是不错的,而且使用更方便,也省空间,非常推荐大家都使用。当然如果你想要更精致的出图效果,用最新的独立模型效果肯定会更好。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值