AI绘画Stable Diffusion最强控制插件ControlNet 附模型下载

最新推荐文章于 2024-09-18 14:40:18 发布

程序员晓晓

最新推荐文章于 2024-09-18 14:40:18 发布

阅读量1.4k

点赞数 7

本文链接：https://blog.csdn.net/cxyxx12/article/details/137814809

版权

大家好，我是程序员晓晓

Stable Diffusion一直在致力于更精确地控制出图结果，而在这众多的功能中，最突出的要属ControlNet了。

无论是文生图还是图生图，我们更多的是对内容的一个描述，但是如果我们想要更细化一些，比如构图、轮廓、形象姿态、色彩风格等等，单靠文生图或者图生图就不够用了，我们需要一个更强大的控制模块，这时ControlNet也就应运而生。它带来的最大的改变，就是让输出结果能更好的被我们控制了。

关于ControlNet插件的安装，如果是用的秋叶大佬的整合包，就会自带这个插件。如果没有，可以去扩展中搜索ControlNet进行安装。

安装完成之后，就可以看到ControlNet的使用界面了。

ControlNet的使用逻辑是通过预处理器将我们的图片提取特征，并转换为AI可识别的形式，再通过模型将预处理器的结果进行图像生成。说得再直白一点，预处理器就是我们和ControlNet之间的一款翻译软件。

比如，我想绘制一张女孩打篮球的图片，并且想让她模仿库里的这个动作。

接下来，输入关键词：(最好的质量，杰作)，女孩，打篮球，篮球场，认真，球衣，看着观众，受伤，绷带。

大模型选择Toonyou的二次元卡通风格，在ControlNet中导入库里的照片，预处理器选择openpose，点击预处理器右侧的爆炸标志，就可以看到提炼出来的骨骼结构。接下来，使用同样名为openpose的模型，调试参数，点击生成。

可以看到，这张AI绘图就采用我们提供给它的动作参考画了出来，效果相当不错。

那ControlNet的预处理器有多少种呢？我们打开下拉列表就可以看到，目前最新的ControlNet v1.1.150版本，一共有37种。很多同学看到这里估计要懵了，我怎么知道该使用哪一种预处理，并且它会变成什么效果呢？

接下来。我们将这些预处理器做一个分类理解。

线条约束类：它可以通过轮廓线来规定绘图的范围。

canny边缘检测： 还是用库里的动作图作为例子，可以看到预处理器精确地找到了人物的轮廓边缘，并且进行了重绘，适用于线条比较精细的图片。

scribble涂鸦： 适合粗犷的画风，灵魂画手的拯救器。

softedge软边缘检测： 同样是保留轮廓边缘进行绘图，相比于canny，可以看到线条较粗且有柔化的部分，这样的处理对边缘的细节保留得更多，特别是有头发这类细节的时候，但未必有canny刻画的那么细。

lineart线稿提取： 这个是ControlNet1.1版本新出的预处理和模型，可能是ControlNet目前最强的线稿上色功能了。

我从花瓣上找了一张线稿图来试验一下，这幅线稿来自画师“原画人”的创作。

我们可以先通过invert预处理将白底黑线处理成黑底白线，因为ControlNet中都是黑色作为背景。

然后，将处理好的图拖到左边重新载入，切换到lineart预处理器和模型进行生成。文生图关键词填写——(Best quality, masterpiece), ((girl)), solo,Blue hair, white clothes,white background。

点击生成，得到上色稿。

我接着用canny模型也绘制了一遍，可以对比一下这两款模型上色的差别，大家自己感受一下。

**mlsd直线线条检测：**这个线条检测和之前的几个有一些不同，它一般用在建筑或者室内设计上。

可以看到，这个预处理器提炼出了这个室内的结构线。

我们输入关键词：木制、简约、无印良品。点击生成4张图，得到了与原图结构一致的设计图。

好了，今天我们介绍了ControlNet中关于线条约束类的预处理器和模型。这些模型文件我也整理好了，如果想要这些模型的话，可以看下方扫描获取

最后附上一张图，可以帮助大家理解ControlNet模型的命名规则，以便能够正确地使用模型。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述