AI绘画Stable Diffusion最强控制插件ControlNet 附模型下载

大家好，我是程序员晓晓

Stable Diffusion一直在致力于更精确地控制出图结果，而在这众多的功能中，最突出的要属ControlNet了。

无论是文生图还是图生图，我们更多的是对内容的一个描述，但是如果我们想要更细化一些，比如构图、轮廓、形象姿态、色彩风格等等，单靠文生图或者图生图就不够用了，我们需要一个更强大的控制模块，这时ControlNet也就应运而生。它带来的最大的改变，就是让输出结果能更好的被我们控制了。

关于ControlNet插件的安装，如果是用的秋叶大佬的整合包，就会自带这个插件。如果没有，可以去扩展中搜索ControlNet进行安装。

安装完成之后，就可以看到ControlNet的使用界面了。

ControlNet的使用逻辑是通过预处理器将我们的图片提取特征，并转换为AI可识别的形式，再通过模型将预处理器的结果进行图像生成。说得再直白一点，预处理器就是我们和ControlNet之间的一款翻译软件。

比如，我想绘制一张女孩打篮球的图片，并且想让她模仿库里的这个动作。

接下来，输入关键词：(最好的质量，杰作)，女孩，打篮球，篮球场，认真，球衣，看着观众，受伤，绷带。

大模型选择Toonyou的二次元卡通风格，在ControlNet中导入库里的照片，预处理器选择openpose，点击预处理器右侧的爆炸标志，就可以看到提炼出来的骨骼结构。接下来，使用同样名为openpose的模型，调试参数，点击生成。

可以看到，这张AI绘图就采用我们提供给它的动作参考画了出来，效果相当不错。

那ControlNet的预处理器有多少种呢？我们打开下拉列表就可以看到，目前最新的ControlNet v1.1.150版本，一共有37种。很多同学看到这里估计要懵了，我怎么知道该使用哪一种预处理，并且它会变成什么效果呢？

接下来。我们将这些预处理器做一个分类理解。

线条约束类：它可以通过轮廓线来规定绘图的范围。

canny边缘检测： 还是用库里的动作图作为例子，可以看到预处理器精确地找到了人物的轮廓边缘，并且进行了重绘，适用于线条比较精细的图片。

scribble涂鸦： 适合粗犷的画风，灵魂画手的拯救器。

softedge软边缘检测： 同样是保留轮廓边缘进行绘图，相比于canny，可以看到线条较粗且有柔化的部分，这样的处理对边缘的细节保留得更多，特别是有头发这类细节的时候，但未必有canny刻画的那么细。

lineart线稿提取： 这个是ControlNet1.1版本新出的预处理和模型，可能是ControlNet目前最强的线稿上色功能了。

我从花瓣上找了一张线稿图来试验一下，这幅线稿来自画师“原画人”的创作。

我们可以先通过invert预处理将白底黑线处理成黑底白线，因为ControlNet中都是黑色作为背景。

然后，将处理好的图拖到左边重新载入，切换到lineart预处理器和模型进行生成。文生图关键词填写——(Best quality, masterpiece), ((girl)), solo,Blue hair, white clothes,white background。

点击生成，得到上色稿。

我接着用canny模型也绘制了一遍，可以对比一下这两款模型上色的差别，大家自己感受一下。

**mlsd直线线条检测：**这个线条检测和之前的几个有一些不同，它一般用在建筑或者室内设计上。

可以看到，这个预处理器提炼出了这个室内的结构线。

我们输入关键词：木制、简约、无印良品。点击生成4张图，得到了与原图结构一致的设计图。

好了，今天我们介绍了ControlNet中关于线条约束类的预处理器和模型。这些模型文件我也整理好了，如果想要这些模型的话，可以看下方扫描获取

最后附上一张图，可以帮助大家理解ControlNet模型的命名规则，以便能够正确地使用模型。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除