Stable Diffusion教程|Controlnet插件详解和实战

最新推荐文章于 2024-09-13 09:33:14 发布

写编程的木木

最新推荐文章于 2024-09-13 09:33:14 发布

阅读量822

点赞数 25

文章标签： stable diffusion midjourney AIGC AI作画人工智能

本文链接：https://blog.csdn.net/hjs123456780/article/details/141252367

版权

不知道你是否发现，无论你再怎么精确使用文本提示词来指导SD模型，也无法描述清楚人物的四肢角度、背景中物体位置等等，因为文字的表达能力很有限。那么有没有一种通过图像特征来为扩散模型生成过程提供更加精细控制的方式，答案是肯定，那就是ControlNet！

1 什么是ControlNet

2 安装ControlNet

3 ControlNet实战应用

**一、**什么是ControlNet

原理

ControlNet是一种能够嵌入任意训练好的扩散模型，并为这些扩散模型提供更多控制条件的神经网络结构。

ControlNet的基本结构如图

ControlNe的基本结构由一个对应的原先网络的神经网络模块和两个“零卷积”层组成。在之后的训练过程汇总，会“锁死”原先网络的权重，只更新ControlNet基本结构中的网络“副本”和零卷积层的权重。这些“副本”将学会如何让模型按照新的控制条件来生成结果，而被“锁死”的网络则会保留原先网络已经学会的所有知识。即使用来训练ControlNet的训练集规模较小，被“锁死”网络原本的权重也能确保扩散模型本身的生成效果不受影响。

这些零卷积层是一些权重和偏置被初始化为0的1×1卷积层，训练开始时，无论新添加什么控制条件，零卷积层都输出0，对扩散模型的生成结果无影响，但随着训练过程深入，Controlnet将学会逐渐调整扩散模型原先的生成过程，使得生成的图像逐渐向新添加的控制条件靠近。

Stable Diffusion + ControlNet

通过这种方式，ControlNet可以重用SD编码器作为一个深度，鲁棒和强大的骨干来学习不同的控制。许多证据验证了SD编码器是一个优秀的骨干。

注意连接层的方式是计算效率高的。原始SD编码器不需要存储梯度(锁定的原始SD编码器块1234和Middle)。所需的GPU内存并不比原来的SD大多少！

更多ControlNet的生成过程，感兴趣的朋友，可以看看原文：

https://github.com/lllyasviel/ControlNet

二、安装ControlNet

下载ControlNet插件

你如果用的绘世启动器，最新版已经内置了ControlNet插件。

如果没有安装插件如图：

插件地址：https://gitcode.net/ranting8323/sd-webui-controlnet.git

安装后重启，在文生图或图生图里面可以找到对应的controlnet设置模块：

下载安装ControlNet模型

有了插件还不行，里面还需要使用各种模型，真正起作用的是这些模型，只需下载下来放在对应的目录，刷新SD即可。

下载地址：https://huggingface.co/lllyasviel/ControlNet-v1-1

下载不了的同学，下方扫码找我，给大家提供网盘分享地址。
在这里插入图片描述

安装目录：…\novelai-webui-aki-v3\models\ControlNet

设置ControlNet

如果想同时使用多个Contronet模型来微调图像，也很简单，到设置里多打开几个即可，重启WEB UI即可生效。

**三、**ControlNet实战应用

openpose生成制定人****物姿势的图片

setp1通过openpose我们可以参考图片的头像、姿态、手势生成图片，设置顺序如图：

上传一张人物图片。
选择“启用”“pixel perfect”“Allow preview”
选择“OpenPose”类型
选择预处理器模型“openpose_full”,右侧自动出现模型完整名词。
选择爆炸小图标
预览生成的pose
选择Contrlnet更重要

setp2 选择写实类模型，尺寸也参考原图尺寸，其他设置如下，点击生成即可。

这时候，就生成了和原图一一样姿态的图片了。

Depth参考图片空间深度关系

setp3 上图人物手指有明显问题，两个手有重叠交叉前后关系的时候，openpose并不能解决，我们可以叠加第二个controlnet，设置如下：

setp4 重新生成图片。

考虑和openpose和depth生成图片

大家还可以换一张建筑图片，更适合用depth指定空间构图关系。

canny生成艺术字

setp1 用PS做一张白底黑字的艺术字图片。

setp2 controlnet选择“canny”，上传这张图片，预览硬边缘。

setp3 选择国风的大模型，输入城市景观的提示词，生成图片。

linear线稿上色

setp1 给一张图片生成线稿。

setp2 给线稿重新上色。

线稿上色

如果操作中遇到任何问题，欢迎扫描二维码+v交流沟通！

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。