▍认识插件ControlNet
ControlNet算是当前SD领先MJ的基于WebUI的核心插件之一,所有所谓的控制力皆源自这个插件。如果SD和WebUI基础还不清楚的可以文末扫码获取学习资料从零开始学。
大部分整合包都整合了整合时能整合到的最新版本controlnet插件,安装即食。但由于插件更新速度太快,day级别,所以也有可能你在用的时候已经更新了更多control模型和使用体验。你可以从GitHub上手动下载插件到本地,也可以在WebUI的扩展中心,粘贴下面地址,下载,等一小会儿插件就装好了。
https://github.com/Mikubill/sd-webui-controlnet
在你的WebUI中,它大概长样。在生图参数下面。
下载模型
插件下好之后是需要下载ControlNet专属模型的,这个一般整合包里是不带的,需要你网络“很好”的情况下,首次使用ControlNet就会自动下载(大部分人可能都会下载失败),如果失败就手动从 ControlNet 1.1 下载模型,地址:
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
您需要下载以“.pth”结尾的模型文件。将模型放入
“stable-diffusion-webui\extensions\sd-webui-controlnet\models”中。现在1.14版本已经包含了所有“yaml”文件。您只需要下载“pth”文件。大概就这么些,每个1.3G左右。
ControlNet 1.1 新功能
-
完美兼容适配 ControlNet 1.0/1.1 和 T2I Adapter 的模型
欢呼…
-
完美支持 Web UI的 High-Res. Fix
欢呼…
-
完美支持所有 WebUI的 Img2Img 或 Inpaint 设置以及所有蒙版类型
欢呼…
-
新的“像素完美”模式
如果您打开像素完美模式,则无需手动设置预处理器(注释器)分辨率。ControlNet 将自动为您计算最佳注释器分辨率,以便每个像素与稳定扩散完美匹配。欢呼…
-
用户友好的 GUI 和预处理器预览
重新组织了一些以前令人困惑的 UI,例如“新画布的画布宽度/高度”,现在,预览 GUI 由“允许预览”选项和触发按钮控制💥.预览图像大小比以前更好了。
-
支持几乎所有放大脚本
现在ControlNet 1.1可以支持几乎所有的Upscaling/Tile方法。欢呼…
-
更多控制模式(以前称为猜测模式)
这个新功能很好用,我们将在实战篇里看到它的运用。
具体三种模式分别有什么作用,如果不想啃官方枯燥的说明就看官方这张图,一眼懂。更接近control的图还是prompt的control力更强的区别。
多控制网和开启关闭
controlnet支持多个单元输入,共同生效。与关键词,LoRA一样,每个control单元都有权重(control weight)可以来控制。
如果界面上4个单元都不够用,可以在设置里controlnet目录下,调整ControlNet Unit最大数量,重启WebUI才生效。
每个单元的开启很容易,把启用勾选上就立刻生效。生图可见。
低显存模式针对8G及以下的显卡,可以勾上。
画面精度高可以勾上完美像素模式。
允许预览是比较老的功能了,字面意思。
▍认识Controlnet模型****
模型命名规则
ControlNet 1.1 include 14 models
ControlNet真正厉害的还是这些预处理器和模型的搭配使用,给SD的控制力提供了无限可能。那在这里先认识一下这14个官方模型,有些我用的不多,主观直白的解释不精准,以你为准,以官方文档为准。
1.Normal法线
说实话,用的不多,主要3D很常见的法线提取,把参考图的起伏质感强化。可能是1.0效果不好,1.1应该对normal-from-midas 有很大的改善。找不到法线,应该翻译成常规了。
2.Canny硬边缘
canny用的很频繁,就是锁住描边轮廓。需要提一下预处理器中的invert(白底黑线反色)这个预处理器同样适用在Lineart(线稿)中,老版本的CN有可能没有这个预处理器,需要去单独下载,注意。
3.MLSD直线
MLSD用的也不多,但看官方文档,感觉好像很适合装修建筑设计等行业,能把规则的参考图提取其中的直线部分。
4.Scribble涂鸦
顾名思义,会对参考图进行不规则的描绘,适合只需要控制大概的方式。还可以给手绘稿,场景铺调子等地方使用,很万金油。
5.Soft Edge软边缘
与硬边缘相似,但又不同的是更适合边缘线不清晰,材质柔和,倒角平滑的轮廓。
6.Segmentation语意分割
使用segment的语意识别模型,能将参考图中的不同元素区分开,有助于AI理解,避免重叠交叉部分出现鬼图。但这部分的预处理模型选择比较多,表意自然也都不一样。
7.Openpose姿态
到了最常用的openpose了,二次元福音,鬼手拯救者,群people战神。能提取参考图的骨骼,最新1.1预处理器还能识别面部特征和手部骨骼。6到起飞。
8&9.Lineart线稿
Lineart和canny是一对正反操作,前者对有分割,线条敏感,后者在意的是光影下的边缘。所以线稿很适合对原始线稿进行上色,很多场景下他们是相似的。
为此,专门有一个模型针对二次元处理线稿上色。Anime Lineart。
10.Shuffle随机洗牌
感觉更像是将元素特征从参考图中提取出来,然后赋予给生成的图。预处理和模型也都就一个。随机变化性很大。
11.Instruct Pix2Pix
这个好像连翻译都翻译不出来,☞定像素to像素?看文档,使用逻辑还很复杂,我也没有尝试过,不敢乱描述,感觉像能保留参考图的一部分像素,另一种局部重绘?
12.Inpaint局部重绘
和图生图的局部重绘撞车了!这个就比较好理解了。
13.Tile分块
这个模型可以用在很多方面。总体而言,该模型有两种行为:
-
忽略图像中的细节并生成新的细节。
-
如果局部tile语义和提示不匹配,则忽略全局提示,并使用局部上下文引导扩散。
由于该模型可以生成新的细节而忽略现有的图像细节,因此我们可以使用该模型去除不良细节并添加精细细节。例如,消除因图像大小调整而引起的模糊。
MJ的无限放大猜测用的就是这个模型的原理。
13.Reference-Only Control
这个是1.1的新功能,很强,能做到control又不control真的是参考的意义。
14.T2I-Adapter自适应
通过预处理器,我们可以得到色块处理结果,类似涂鸦的手绘处理结果,(风格会报错,大概还没准备好)整体上感觉仍然有点像图生图找风格的场景使用。
自此,14个官方可下载到的ControlNet模型就都介绍完毕了,还有一些其他的模型我们留给以后慢慢介绍吧,这些就够消化好久了。
AI绘画SD整合包、各种模型插件、提示词、GPT人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://i-blog.csdnimg.cn/blog_migrate/a97695f8644ac9e55e8fc150b8e6b53b.jpeg)