【Stable Diffusion】最强控制插件ControlNet 参考风格reference

大家好我是安琪！！！

在人工智能图像生成领域，Stable Diffusion以其强大的图像生成能力而备受关注。而ControlNet作为Stable Diffusion的插件，更以其卓越的控制能力，成为创意无限的得力助手。现在，ControlNet推出了全新的参考风格功能，让你可以轻松定义自己的图像风格，开启创意之旅。

ControlNet：最强控制插件 ControlNet作为Stable Diffusion的插件，以其强大的控制能力而闻名。它允许用户在生成图像的过程中，精确控制图像的细节、风格和整体效果。无论是调整图像的色调、对比度，还是改变图像的风格，ControlNet都能轻松应对。

因为AI生成人物往往是带有随机性的，每次生成都会有一些不可控的区别，所以一直以来，设计师们都想解决生成人物能保持统一这个问题。

自从ControlNet1.1.17的版本升级之后，作者更新了一个新的预处理器——reference。这个预处理器最大的作用，就是通过一张给定的参考图可以延续出一系列相似的图，这样就为我们给同一个角色生成系列图提供了可能，接下来让我们一起来看看它是怎么使用的。

使用方法

首先我们进入文生图，填写一段提示词。如下：(杰作，最好的质量)，一头白发的女孩坐在绿植和鲜花的田野里，温暖的灯光，模糊的前景。

设置一下常规参数，先生成一张图。

接下来，我们想用这个人物作为主角生成一系列其他的图。将图片拖入到ControlNet中，预处理器选择reference
only，控制模型一定要选择“均衡”。保真度数值越高，对图片的参考就越强，我们先设置为1看看。

可以看到，在没有明确指向性提示词的情况下，人物形象保持了一致，但是她的表情、动作、服装产生了随机的不同程度的变化。

我们可以试着通过添加关键词的方式来给人物换装，比如添加“红裙子”。

同时更改服装和表情，比如添加“黑色校服、哭泣”。

同时更改动作和表情，比如添加“抱手、生气”。

同时更改姿态，环境和表情，比如添加“在花丛中奔跑、开心”。

添加“红色棒球帽，时尚卫衣，在商场逛街”。

通过一系列测试，可以发现这个功能可以让我们在绘制系列插画、漫画、小说插图等等工作时，能保持主角形象的统一，也能根据情况做实时的调整，如果后期再配合lora，潜力可以想象是非常大的。

其他应用

我们还可以测试一些有趣的东西，比如拿一些完全不相干的图片来做参考，看看会发生什么。

还是使用刚才女孩坐在草地上的提示词不变，但是参考图片换成一筐草莓。

得到了和刚才那张图比较接近的色调，说明这个风格参考也可以作为一种滤镜功能使用。找到喜欢的图片色调，就能直接参考出来。

如果使用蒙娜丽莎作为参考，会得到什么效果呢？

世界名画诞生了，而且似乎是连画风也进行了参考，甚至脸庞也有点像了，可能是我把参考值拉满了的原因。

再尝试参考一下梵高的星空，很好奇这种特别强烈的绘画风格参考出来是什么样的。

当当，图像生成！

色调、笔触还挺有那个味道的，而且像素越低，感觉越像是什么回事。

最后，我们再使用reference进行一下扩图。将上面这张图发送到图生图，调整尺寸，用较小的重绘幅度，得到下面这张图片。

进行局部重绘，将两边区域图上蒙版。

正向提示词改为“长满鲜花和植物的田野”，来描述背景的内容。

ControlNet继续使用星空来控制参考风格。

这样背景就扩充好了，效果还是不错的。

借用这个思路，我们还可以尝试通过多个ControlNet通道的结合，来实现绘图的风格控制。

比如，我们接下来要给这张线稿上色。

然后风格参考这张水彩的插画。

两个通道分别如下设置：一个采用lineart_anime做预处理器；另一个用reference_only做参考风格。提示词为：一个女孩，头像，水彩。

点击生成，我们就通过参考风格绘制好了这张线稿上色。这张的模型使用的是有名的二次元模型“AnythingV5V3_v5PrtRE”。

使用不同的模型和参数设置也会产生不用的效果，比如这张更换了大模型“colorBoxModel_colorBOX”，色彩更鲜明一些。

这张还是使用的“AnythingV5V3_v5PrtRE”模型，并额外添加了“Moxin”Lora，水墨风格化更明显了。

好了，以上就是ControlNet插件当中reference参考预处理器的介绍，更多的用法大家可以自己去发掘，玩得开心。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。