Stable Diffusion教程|Controlnet插件详解和实战

于 2024-06-27 14:44:08 发布
阅读量906 收藏 25
点赞数 22
文章标签： stable diffusion AIGC 人工智能 AI作画 ai midjourney 人工智能作画
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/text2203/article/details/140012954
版权

不知道你是否发现，无论你再怎么精确使用文本提示词来指导SD模型，也无法描述清楚人物的四肢角度、背景中物体位置等等，因为文字的表达能力很有限。那么有没有一种通过图像特征来为扩散模型生成过程提供更加精细控制的方式，答案是肯定，那就是ControlNet！

在这里插入图片描述

一、什么是ControlNet

原理

ControlNet是一种能够嵌入任意训练好的扩散模型，并为这些扩散模型提供更多控制条件的神经网络结构。

在这里插入图片描述

ControlNet的基本结构如图

ControlNe的基本结构由一个对应的原先网络的神经网络模块和两个“零卷积”层组成。在之后的训练过程汇总，会“锁死”原先网络的权重，只更新ControlNet基本结构中的网络“副本”和零卷积层的权重。这些“副本”将学会如何让模型按照新的控制条件来生成结果，而被“锁死”的网络则会保留原先网络已经学会的所有知识。即使用来训练ControlNet的训练集规模较小，被“锁死”网络原本的权重也能确保扩散模型本身的生成效果不受影响。

这些零卷积层是一些权重和偏置被初始化为0的1×1卷积层，训练开始时，无论新添加什么控制条件，零卷积层都输出0，对扩散模型的生成结果无影响，但随着训练过程深入，Controlnet将学会逐渐调整扩散模型原先的生成过程，使得生成的图像逐渐向新添加的控制条件靠近。

Stable Diffusion + ControlNet

在这里插入图片描述

通过这种方式，ControlNet可以重用SD编码器作为一个深度，鲁棒和强大的骨干来学习不同的控制。许多证据验证了SD编码器是一个优秀的骨干。

注意连接层的方式是计算效率高的。原始SD编码器不需要存储梯度(锁定的原始SD编码器块1234和Middle)。所需的GPU内存并不比原来的SD大多少！

二、安装ControlNet

下载ControlNet插件

你如果用的绘世启动器，最新版已经内置了ControlNet插件。

在这里插入图片描述

如果没有安装插件**（可以文末自行扫描获取）**

在这里插入图片描述

安装后重启，在文生图或图生图里面可以找到对应的controlnet设置模块：

在这里插入图片描述

下载安装ControlNet模型

有了插件还不行，里面还需要使用各种模型，真正起作用的是这些模型，只需下载下来放在对应的目录，刷新SD即可。

下载不了的同学，（可以通过文末扫描自行获取）

在这里插入图片描述

安装目录：…\novelai-webui-aki-v3\models\ControlNet

在这里插入图片描述

设置ControlNet

如果想同时使用多个Contronet模型来微调图像，也很简单，到设置里多打开几个即可，重启WEB UI即可生效。
在这里插入图片描述

三、ControlNet实战应用

openpose生成制定人****物姿势的图片

setp1通过openpose我们可以参考图片的头像、姿态、手势生成图片，设置顺序如图：

在这里插入图片描述

  1. 上传一张人物图片。

  2. 选择“启用”“pixel perfect”“Allow preview”

  3. 选择“OpenPose”类型

  4. 选择预处理器模型“openpose_full”,右侧自动出现模型完整名词。

  5. 选择爆炸小图标

  6. 预览生成的pose

  7. 选择Contrlnet更重要

setp2 选择写实类模型，尺寸也参考原图尺寸，其他设置如下，点击生成即可。

在这里插入图片描述

这时候，就生成了和原图一一样姿态的图片了。

Depth参考图片空间深度关系

setp3 上图人物手指有明显问题，两个手有重叠交叉前后关系的时候，openpose并不能解决，我们可以叠加第二个controlnet，设置如下：

在这里插入图片描述

setp4 重新生成图片。

在这里插入图片描述

考虑和openpose和depth生成图片

大家还可以换一张建筑图片，更适合用depth指定空间构图关系。

canny生成艺术字

setp1 用PS做一张白底黑字的艺术字图片。

在这里插入图片描述

setp2 controlnet选择“canny”，上传这张图片，预览硬边缘。

在这里插入图片描述

setp3 选择国风的大模型，输入城市景观的提示词，生成图片。

在这里插入图片描述

linear线稿上色

setp1 给一张图片生成线稿。

在这里插入图片描述

setp2 给线稿重新上色。

在这里插入图片描述

资料软件免费放送

次日同一发放请耐心等待

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

需要的可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

**一、AIGC所有方向的学习路线**

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

AIGC阿道夫
关注
  • 22
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ControlNet让SD变得可控
wutao22的博客
05-15 3880
ControlNet是一个用于深度神经网络的控制技术，它可以通过操作神经网络块的输入条件来控制神经网络的行为。在这里，“网络块”是指常用的神经层集合，例如“resnet”块、“conv-bn-relu”块、多头注意力块等。通过克隆神经网络块的参数并应用零卷积连接层来实现ControlNet的目标。 ControlNet的副本与神经网络块的输入和输出是一致的，这使得在训练初始阶段，Co...
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
02-23
Stable Diffusion WebUI Forge版ControlNet模型资源包下载
Stable Diffusion进阶！姥姥都能看懂的ControlNet超全教程
winkexin的博客
05-10 1879
珍珠白的墙壁，温莎灰色的地板，卧室，自然光，朴实的色调，简单干净，室内设计的趋势，由 Audrey kawasaki 设计的数字艺术品，光滑，细节，艺术站，中性色，优雅。女孩，独奏，连衣裙，辫子，发带，耳环，微笑，棕色眼睛，白色连衣裙，现实主义，珠宝，长发，黑发，看着观众，裸露的肩膀，嘴唇，蓝色发带，单发带，棕色头发，简单的背景。女孩，独奏，微笑，现实，咧嘴笑，看着观众，棕色的眼睛，棕色的头发，马尾辫，上身，简单的背景，xxx，xx，蓝色的背景，牙齿，嘴唇，裸露的肩膀，长发，黑发。
Stable Diffusion 系列教程 - 5 ControlNet
认真努力，做一只会飞的毛毛虫。
12-30 869
单个ControlNet的大小在1.4G左右，上面为五个应用最为广泛的控制模型。ControINet之于整个AI绘画过程，其实也就是诸多环节里面的“一环"而已。AI还是会综合参考提示词、图生图、Embeddings、LoRA等各个方面的东西来综合的实现AIGC。这里可以下载我们想用的所有模型，但是切记要把yaml文件也下载下来，其用来定义模型的配置。将成对的模型文件放在目录。注意：老版本没有yaml文件，新版本的模型有yaml文件，如果不下载就用不了这个模型。
初认Controlnet插件（插件篇）
A2421417624的博客
04-08 1348
多控制网和开启关闭controlnet支持多个单元输入，共同生效。与关键词，LoRA一样，每个control单元都有权重（control weight）可以来控制。如果界面上4个单元都不够用，可以在设置里controlnet目录下，调整ControlNet Unit最大数量，重启WebUI才生效。每个单元的开启很容易，把启用勾选上就立刻生效。生图可见。低显存模式针对8G及以下的显卡，可以勾上。画面精度高可以勾上完美像素模式。允许预览是比较老的功能了，字面意思。▍认识Controlnet模型****
Stable Diffusion教程 从入门到精通（下载地址）附安装包+安装文档.txt
07-19
18、Stable Diffusion 腾讯云安装部署教程之模型与插件 知识点：原生SD大模型和lora下载 SD插件下载 controlnet模型缺失下载和删除（独家脚本）.mp4 17、Stable Diffusion 腾讯云安装部署教程 知识点：腾讯云一键...
stable diffusion模型管理和controlnet最新支持SDXL模型下载.pdf
05-24
通过上述介绍，我们可以看出对于 Stable Diffusion 模型的管理和 ControlNet 对 SDXL 模型的支持，不仅涉及到具体的管理技巧，还涉及到了一系列实用的操作指南和技术资源。这对于希望利用这些先进工具进行创作或研究...
stable diffusion插件应用stablesr
01-26
总之，"stable diffusion插件应用stablesr"是一个强大的工具，通过集成到稳定扩散软件中，它能显著提升视频处理的分辨率和质量，为用户提供更优质的观看体验。掌握插件的安装和使用方法，对于充分利用稳定扩散的潜力...
AI-绘画的工具准备：Stable-Diffusion使用教程.pdf
06-03
AI-绘画的工具准备：Stable-Diffusion使用教程
『SD』ControlNet基础讲解
bagell的博客
06-15 1105
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
进阶--AI绘画里你必须要知道的controlnet模型使用方法
Chanyto的博客
04-13 5724
哈喽，各位小伙伴们大家好，有一段时间没有更新了，最近也是忙着搬家忙着置办家具等等，今天终于得空，于是乎连忙抽空做了这期关于controlnet的使用教程。因为最近我也是发现，controlnet对于AI绘画来说可真是太重要了，说白了，这个插件用好了，将会大大的提升我们的生产效率，因为它可以做到对线稿的上色以及照片转二次元人物等等功能，这些应用场景就非常广泛了。好了，废话不多说，直接上干货。
【comfyui】40个工作流一次让你彻底掌握SD controlNet的使用场景(1)-线性处理器
bagell的博客
05-22 1565
Stable Diffusion 的 ControlNet 是一个控制预训练图像扩散模型的神经网络。它允许输入调节图像，然后使用该调节图像来操控图像生成。ControlNet 最近非常火，它和 Stable Diffusion 的结合使 Stable Diffusion 能够接受指导图像生成过程的条件输入，从而增强了 Stable Diffusion 的性能。使用 ControlNet 可以固定构图、定义姿势、描绘轮廓等，单凭线稿就能生成一张丰满精致的插画。
从SD开始搞懂ControlNet
fisherisfish的博客
08-30 1668
原理部分我们直接拿出Controlnet作者的图网上对这张图的说明都比较粗略，我们首先要搞明白几个值得含义，参考下面这张图，我们会发现作者在原先的SD之外新增了一个condition的额外输入，这个condition就是我们增加的额外条件，而controlnet的训练是不影响原来的SD的，即原来的SD完全保持独立和不变，影响是通过在SD的Decoder阶段添加condition的编码信息，而训练的部分就说图中的蓝色方块，也就是SD的编码块，如果算力富余的话，controlnet也可以重新训练整个SD。
stable diffusion API 调用，超级详细代码示例和说明
热门推荐
技术宅，专注云原生、Go、Linux、Java等技术分享，原创文章、效率工具、实战解决方案！关注我，了解互联网动态，学 IT 不迷路
08-11 2万+
本文主要介绍 stable diffusion API 调用，准确来说是对 stable diffusion webui 的 API 调用。接口文档可以查看： > http://sd-webui.test.cn/docs 这里的 `sd-webui.test.cn` 是自己的 sd webui Endpoint。 文生图是：`/sdapi/v1/txt2img` 这个 POST 接口。 图生图是：`/sdapi/v1/img2img` 这个 POST 接口。 本文主要介绍文生图 txt2img 接
【SD3辅助工具推荐】InstantX发布了三种SD3专属的ControlNet模式——Pose、Canny和Tile
最新发布
weixin_41446370的博客
06-20 817
InstantX 是一家专注于人工智能内容生成的独立研究机构。此前，曾开源著名的InstantID和论文《随着本月12号，Stability AI正式开源了其产品 Stable Diffusion 3，这家机构又为SD的死忠粉带来了三款SD3专属的ControlNet工具——SD3-Controlnet-Pose、SD3-Controlnet-Canny 和 SD3-Controlnet-Tile。
AI 绘画Stable Diffusion 研究（二）sd模型ControlNet1.1 介绍与安装
w风雨无阻w的专栏
07-29 5795
ControlNet1.1 是Stable Diffusion 绘画插件，在2023年4月份更新了 V1.1 版本，发布了14 个优化模型，并新增了多个预处理器，并且在原有的模型上进行了一些优化，让它的功能比之前更加好用了。shuffle模型可以称为重组模型，从shuffle模型的是使用效果来看，shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成，所以当我们找到比较好的参考图时，就可以使用shuffle模型进行图片创作。下一篇，将给大家带来，sd 各个功能模块的详细使用方法，敬请期待。
AI绘画SD插件ControlNet模型解析
qq_43515721的博客
08-07 1133
OpenPose姿态：检测人体各部位的关键点，只提取姿态信息，用于控制绘图中人物的动作和姿态，可以自己调节，主要有：头、肩部、胳膊、手、屁股、腿、脚，这样就能基本上控制人物的平面姿态了，3D OpenPose 则可以旋转调节角度，控制三维姿态。Shuffle：洗牌转换，将整个输入图像构图打乱，重新进行组合，构图变化，生成一系列S卡。:提取轮廓内部的特征，适用于传输输入图像的3D，输入图像3D时，法线提取效果比深度更好。: 深度图算法, 捕捉图片中的空间关系，还原场景，控制人物和场景。
stable diffusion的ControlNet插件怎么使用
03-13
ControlNet插件是用于稳定扩散的，它可以帮助用户控制网络的扩散速度和范围。使用ControlNet插件，用户可以设置网络的扩散速度和范围，以达到稳定扩散的效果。具体使用方法可以参考插件的说明文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值