【Stable Diffusion】最强控制插件ControlNet 参考风格reference_stable diffusion里的controlnet可以控制画面风格嘛-CSDN博客

本文链接：https://blog.csdn.net/xiaokangss/article/details/144903273

在人工智能图像生成领域，StableDiffusion以其强大的图像生成能力而备受关注。而ControlNet作为StableDiffusion的插件，更以其卓越的控制能力，成为创意无限的得力助手。现在，ControlNet推出了全新的参考风格功能，让你可以轻松定义自己的图像风格，开启创意之旅。
在这里插入图片描述

ControlNet：最强控制插件 ControlNet作为StableDiffusion的插件，以其强大的控制能力而闻名。它允许用户在生成图像的过程中，精确控制图像的细节、风格和整体效果。无论是调整图像的色调、对比度，还是改变图像的风格，ControlNet都能轻松应对。

因为AI生成人物往往是带有随机性的，每次生成都会有一些不可控的区别，所以一直以来，设计师们都想解决生成人物能保持统一这个问题。

自从ControlNet1.1.17的版本升级之后，作者更新了一个新的预处理器——reference。这个预处理器最大的作用，就是通过一张给定的参考图可以延续出一系列相似的图，这样就为我们给同一个角色生成系列图提供了可能，接下来让我们一起来看看它是怎么使用的。

使用方法

首先我们进入文生图，填写一段提示词。如下：(杰作，最好的质量)，一头白发的女孩坐在绿植和鲜花的田野里，温暖的灯光，模糊的前景。

设置一下常规参数，先生成一张图。

接下来，我们想用这个人物作为主角生成一系列其他的图。将图片拖入到ControlNet中，预处理器选择reference
only，控制模型一定要选择“均衡”。保真度数值越高，对图片的参考就越强，我们先设置为1看看。

可以看到，在没有明确指向性提示词的情况下，人物形象保持了一致，但是她的表情、动作、服装产生了随机的不同程度的变化。

我们可以试着通过添加关键词的方式来给人物换装，比如添加“红裙子”。

同时更改服装和表情，比如添加“黑色校服、哭泣”。

同时更改动作和表情，比如添加“抱手、生气”。

同时更改姿态，环境和表情，比如添加“在花丛中奔跑、开心”。

添加“红色棒球帽，时尚卫衣，在商场逛街”。

通过一系列测试，可以发现这个功能可以让我们在绘制系列插画、漫画、小说插图等等工作时，能保持主角形象的统一，也能根据情况做实时的调整，如果后期再配合lora，潜力可以想象是非常大的。

其他应用

我们还可以测试一些有趣的东西，比如拿一些完全不相干的图片来做参考，看看会发生什么。

还是使用刚才女孩坐在草地上的提示词不变，但是参考图片换成一筐草莓。

得到了和刚才那张图比较接近的色调，说明这个风格参考也可以作为一种滤镜功能使用。找到喜欢的图片色调，就能直接参考出来。

如果使用蒙娜丽莎作为参考，会得到什么效果呢？

世界名画诞生了，而且似乎是连画风也进行了参考，甚至脸庞也有点像了，可能是我把参考值拉满了的原因。

再尝试参考一下梵高的星空，很好奇这种特别强烈的绘画风格参考出来是什么样的。

当当，图像生成！

色调、笔触还挺有那个味道的，而且像素越低，感觉越像是什么回事。

最后，我们再使用reference进行一下扩图。将上面这张图发送到图生图，调整尺寸，用较小的重绘幅度，得到下面这张图片。

进行局部重绘，将两边区域图上蒙版。

正向提示词改为“长满鲜花和植物的田野”，来描述背景的内容。

ControlNet继续使用星空来控制参考风格。

这样背景就扩充好了，效果还是不错的。

借用这个思路，我们还可以尝试通过多个ControlNet通道的结合，来实现绘图的风格控制。

比如，我们接下来要给这张线稿上色。

然后风格参考这张水彩的插画。

两个通道分别如下设置：一个采用lineart_anime做预处理器；另一个用reference_only做参考风格。提示词为：一个女孩，头像，水彩。

点击生成，我们就通过参考风格绘制好了这张线稿上色。这张的模型使用的是有名的二次元模型“AnythingV5V3_v5PrtRE”。

使用不同的模型和参数设置也会产生不用的效果，比如这张更换了大模型“colorBoxModel_colorBOX”，色彩更鲜明一些。

这张还是使用的“AnythingV5V3_v5PrtRE”模型，并额外添加了“Moxin”Lora，水墨风格化更明显了。

好了，以上就是ControlNet插件当中reference参考预处理器的介绍，更多的用法大家可以自己去发掘，玩得开心。

资料软件免费放送

次日同一发放请耐心等待

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：

目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。