Stable Diffusion基础：ControlNet之画风融合

今天继续给大家分享 Stable Diffusiion 的基础能力：ControlNet 之画风融合。

基本介绍

首先我们来明确一个概念：什么是画风？

我通过AI大模型获取了一个答案，自认为还比较容易理解：画风是指绘画的风格，包括作者对人物、布景等的绘画手法，线条处理，色彩、色调等其他方面的处理手法，以及动画创作者的作画风格等。

本文用到的 ControlNet 类型是Shuffle，它的本意是洗牌、打散。Shuffle的预处理器会把图片中的元素扭曲组合，然后Shuffle模型会使用这些信息，结合其它SD控制参数一起生成图片。

为了更直观的感受这个处理方法，我这里用Anything模型参考“蒙娜丽莎”生成了一张图片：

从上面这个例子，我们可以看到：生成图片参考了原图的色彩、色调和一些光影效果，以及部分元素（背景中高低起伏的地面），甚至人物的发型、姿势等特征，同时图片也受到大模型的很多约束，线条的处理，人物的面部、头发、服饰等都是Anything的二次元风格。

绘制的图片既有参考图的部分风格，又有大模型的部分风格，两种风格出现在同一张图中，融合到了一起，所以我这里称之为画风融合。

如果你感觉这个说法还是有点单薄，下面会有更多的示例。不过在此之前，我想先演示下 Shuffle 的用法，以便让大家能够更快的开始自己的创作。

使用方法

选择一个你喜欢的大模型，通过提示词描述你想要的画面，通过反向提示词做一些画面约束。

• 随便选择一个采样器，这里选择一个比较新的 DPM++ 2M SDE Karras，速度和效果都比较好，采样步数在20-40。
• 设置你想要生成图片的尺寸，数值越大生成越慢，一般不要超过1024；宽高比常见的有1:1、2:3、3:4、9:16等，宽高比过于悬殊，画面结构可能会崩坏，这里宽高采用了2:3的比例。

在ControlNet区域：

• 选择一个Unit，一般就是第一个；
• 上传一张参考图片；
• 勾选“启用”；勾选“完美匹配像素”，让预处理器自动识别参考图的分辨率；勾选“允许预览”，方便查看 Shuffle 预处理的结果。

• Control Type 这里勾选“Shuffle”；
• Shuffle的预处理器和模型都只有一种，勾选“Shuffle”后会自动加载；
• 其它参数先使用默认值就可以。

然后就可以去生成图片了。

绘图示例

下面是使用 Shuffle 绘制图片的一些示例。为了更全面的感受 Shuffle 的效果，我选择了多种风格的参考图，大模型使用了 AnythingV5 和 realisticVisionV51，它们分别是二次元模型和真实模型。

下面3张图的顺序都是：参考图、AnythingV5、realisticVisionV51。

如果你有兴趣，可以下载这些图片，然后在 Stable Diffusion WebUI 中查看图片生成参数，下载方法请查看文章最后部分。

赛博朋克

文生图，赛博朋克风格，Shuffle ControlNet。参考图中的光影效果深刻影响了生成的图片。

古风仕女

文生图，女子，Shuffle ControlNet。除了色彩很像，看这两个小眼神，好像也受到了参考图的很大影响。在真实模型生成的图片中还出现了参考图中的一些花花草草。

文生图，男子，Shuffle ControlNet。参考图是女子，也不影响生成男人。

水墨画

文生图，女孩，Shuffle ControlNet。

文生图，山水画，Shuffle ControlNet。

小说推文插画

文生图，女孩，Shuffle ControlNet。生成图片融合了一种很干净利索的感觉。

工笔画风

文生图，女孩，Shuffle ControlNet。这个五颜六色的组合还挺搭的，没有庸俗感。

蒙娜丽莎（图生图约束）

图生图，蒙娜丽莎，Shuffle ControlNet。

使用图生图，较小的重绘幅度，约束画面的结构，但是色彩、色调都会使用参考图的。

二次元（线稿约束）

文生图，女孩，Shuffle ControlNet + Lineart ControlNet。

这里使用了 Lineart ControlNet 来约束画面，使得整体画面结构不变，只改变色彩和细节。

Lineart的参考图片是下面这张：

下面这几张是添加 Shuffle 生成的图片：

总结

从出图示例我们可以看到，Shuffle 提供的画风融合能力主要在色彩、色调，以及参考图中部分元素和效果；生成图片的线条处理、人物的绘画手法还是主要由大模型来控制的。

资源下载

本文使用的模型、插件，生成的图片，都已经上传到了我整理的SD绘画资源中，后续也会持续更新，如有需要，添加下方，即可获取下载地址。

写在最后

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。
​

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

​