SD还有一个强大的插件叫ControlNet (简称CN)，利用它我们能更生成更有创意并且符合逻辑的图片，本期我们将讲解ControlNet插件的安装使用。
一、ControlNet介绍
官网对它介绍只有两段话，
翻译成中文就是：
“ ControlNet是一个增加了额外条件来的神经网络结构来控制扩散模型(SD)，它是AI图像生成游戏的改变者。它为SD带来了前所未有的控制水平。
ControlNet的革命性之处在于它解决了空间一致性问题。以前根本没有有效的方法来告诉人工智能模型要保留输入图像的哪些部分，而ControlNet引入一种方法，使稳定扩散模型能够使用额外的输入条件，准确地告诉模型要做什么，从而改变了这一现状。”
ControlNet是一个单独的插件，结合Prompt生成图像。可以与SD的文生图、图生图等功能一起使用。
二、ControlNet的安装和使用
安装和使用CN也是非常简单的，我们先启动SD，在“扩展-从网址下载”中输入http://github.com/Mikubill/sd-webui-controlnet，再点击应用更改并重载前端即可。如果失败的话也可以手动下载插件，然后解压到extensions文件夹中。
然后我们需要下载预处理器和模型。这一步可能会花比较多的时间。官方http://huggingface.co/lllyasviel/ControlNet/tree/main/models给的压缩包很大，每个都有5个多G，但是其实这些模型有很大的重复部分，这对我们这些硬盘吃紧的人来说很不友好。
为此，迹寒专门进行了资源裁剪，只保留了模型的有效部分，所有模型加起来才9个G。你也可以挑想要的进行下载。
ControlNet 目前提供的预训模型，可用性完成度更高。而 T2I-Adapter ”在工程上设计和实现得更简洁和灵活，更容易集成和扩展”。
小技巧
CN模型获取方法很简单，只要动动手指头就行。关注【迹寒编程】回复【controlnet模型】获取下载方式（用的是夸克网盘，百度网盘限速太恶心了）。
下载完需要将模型放入models\ControlNet文件夹下，然后重启SD，点击刷新按钮 ️，应该可以看到“预处理器”和“模型”分别多了很多项：
预处理器：
模型：
（1）界面介绍
“工欲善其事，必先利其器”。我们简单了解一下界面。首先，我们看到最上面和图生图一样，有一个图像上传区域。然后右下方可以看到四个图标：
1） 表示新建画布，你可以在上面涂鸦，然后生成图像。（灵魂画手的福音）
2） 打开电脑摄像头（如果有的话），可以对自拍进行处理。
3）对电脑摄像头画面取镜像。
4）将图像尺寸发送到SD。这个功能很实用，以免忘记修改上方的图像大小。
正下面是四个选项框。
- 启用：选中此框以启用ControlNet，否则就不起作用。
- 低显存模式：顾名思义，如果你显存很低，就开启这个选项。
- 完美像素模式：可以生成更高质量的图像。
- 允许预览：将预处理器的结果显示出来。这个选项非常有用，建议勾选：
注意要点一下 按钮才能生效。
预处理器：对图像作预处理。这一步不需要很多资源，我们很快就能看到结果。
模型：ControlNet模型。预处理可以为空，但模型一定要有！
然后是一些参数相关的：
控制权重: ControlNet的权重，代表使用ControlNet生成图片的权重占比影响。
引导介入步数：从哪一步开始，ControlNet开始生效。这个值介于0-1。
引导终止步数：从哪一步开始，ControlNet结束生效。这个值介于0-1。
控制类型：有三个选项：“均衡”、“更注重提示词”和“更倾向于让ControlNet自由发挥”。这个理解起来不难，大家酌情使用。
缩放模式：有“直接调整大小”、“比例裁剪后缩放”和“缩放后填充空白”。根据需要进行选择。
[回送] 自动发送生成后的图像到此 ControlNet unit：将生成的结果做成ControlNet输入。用于多轮次迭代。
准备工作完成了，下面我们开始体验吧！
三、体验ControlNet
模型固定为Anything-V4.5。提示词依据情况设定，反提示词为EasyNegative, badhandv4。
StableDiffusion模型获取方式也可以在关注公众号并输入【StableDiffusion模型】获取。
（1）识别边缘
canny 用于识别输入图像的边缘信息。设置如下：
例如我们现在有一张手捧鲜花的甘雨图：
预处理识别边缘后的结果：
不加任何提示词，生成一个新图像，”啊，妹妹你是谁？“
是不是很神奇呢？canny的一个常见用途是提取线稿，在此基础上生成不同风格的图片。
（2）深度信息
depth用于获取图像的深度信息。大家听说过景深这个概念吧，深度信息和这个类似。人类为什么有两只眼睛？除了对称美以外，很重要的原因是为了形成立体视觉，获取深度信息。
另外还有一些参数，一般默认就好：
以下面还是以不上班的甘雨为例，采用LeRes深度图估算：
得到的深度图长这样，颜色越深表示距离观测者越远：
生成的图片是以此深度图为基础的，生成的画面就很有意思了，人物和背景的轮廓没有变，但内容大变样。
甘雨的角变成了辫子，可见CN的创意还是很棒的。
（3）线稿提取
前面我们介绍了canny边缘图，但其边界还是比较硬的，怎么样才能获得那种素描的效果呢？答案就是hed啦~
我们来看一个例子，还是王小美姐姐的例子：
预处理得到的线稿效果图，是不是有板绘那味了？
生成的图片中，我们可以看到一些光影和色调细节发生改变：
（4）建筑边缘提取
对于室内设计而言，线条大多数是直的，这就适合用mlsd进行边缘提取。
建筑边缘识别效果如下：
生成图的效果如下，这应该是…原始自然风格？不太懂。
这应该能为设计师提供不少灵感。
（5）姿态信息
姿态信息是最有趣而且最实用的信息之一，如果未来AI能生成动画的，那么根据姿态生成图像是必经之路。对应的CN模型为openpose。
对于这张图，姿态估计图中除了手部脚部细节，可以清晰看到人物躯体，并且是符合人物比例的。
做一下笔记
<br/>openpose
提取的骨骼图，面部细节缺失。<br/>openpose_face
支持识别面部，而身体的识别效果也比较好。
生成的图片也是同样的姿势。最有趣的是，我们可以用一个OpenposeEditor插件手动绘制我们想要实现的姿势。下载地址：http://github.com/fkunn1326/openpose-editor。
在选项图上可以看到Openpose编辑器选项。
首先点击“添加一张背景图片”，然后“Detect from image”，自动检测姿势。
我们移动关节点来修改姿势，然后发送到“文生图”可以生成一组相同姿势的人物图：
1）拿着小鼓的JK女孩，躺在床上
2）带着花帽蓄着胡须的男人
3）在图书馆整理图书的少女
4）依靠着空气的帅气男孩（bushi）
这功能必须好评！
（6）草图转图像
比如我们输入的是一张草图，能不能让AI上色呢？答案是Yes，利用scribble插件就可以拯救每一位有着绘画梦想的小可爱！
比如笔者简单画了一个奔跑的火柴人：
看看生成的图像：
连我自己都震惊了。灵魂画手的福音。（虽然脸部还欠缺一点）
此外你还可以上传自己画的线稿，比如迹寒之前画了一张：
看看生成的效果，Amazing！生成的图片风格与模型息息相关。如果要形成自己独一无二的风格，还需要自己训练模型才行。笔者有一个大胆的想法，以后的画家不仅会画画，而且会训练自己的模型 ！
（7）图像分割
图像分割也是很实用的功能，对应的插件是seg。
例如下面是一张小女孩学习的图片，不同的色块表示不同的区域：
生成的图像，画面主要框架没变，但内容变了。
但是AI分割并不是万能的，在一些非常细节的地方，仍然会有瑕疵。
（8）不同的组合
其实这里面是有一些技巧在里面的：**预处理器和模型需要一一对应吗？**答案是NO。
我们来做一个实验，以canny, depth, openpose四个模型和三个预处理器为例制作一个图表。
可见有的组合会碰撞出创意的火花，有的组合是正正为负，不太河里的。通过合理的组合可以得到意想不到的效果。
（9）多通道
什么是多通道呢？简单来说，就是你希望CN在不同阶段调用不同的模型。生成的图片通常会有不同模型的特征。下面我们来演示一下：
首先启用多通道。在“设置-ControlNet”，把“多重 ControlNet 的最大模型数量”调到1以上就算开启了。回来打开CN选项卡，变成了这样：
然后我们来体验一下，将下面两张图片：
得到的图片长这样：
女孩出现在了我们设定的场景，并且画面具有上面两幅图像的特征。
如何生成更好的调整参数，达到风格各异的效果，还需要大家多多尝试~
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！
对于0基础小白入门：
如果你是零基础小白，想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！
需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
1.stable diffusion安装包 （全套教程文末领取哈）
随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。
最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。
5.AIGC视频教程合集
观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
6804
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
