Ai绘画工具，Stable Diffusion ControlNet使用攻略（二）

上次给大家介绍了ControlNet的一些基本介绍，现在我们陆续给大家介绍各个模型的用法。

一、示例图片及通用功能

1、示例图片及参数

为方便大家阅读以及对比各模型之间的效果区别，我将会尽量使用此案例和参数进行各模型的介绍及测试。示例图片：

对应SD参数：

Prompt：(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),(photorealistic:1.4),1girl on street,beautiful face,big eyes,Kpop idol,((knitwear)),(grey hair:1.1),collarbone,(medium breasts),(looking at viewer,parted lips,smile),upper body,lora:Gini\_S2:0.7,

Negative prompt: negative_hand-neg,ng_deepnegative_v1_75t,badhandv4,EasyNegativeV2,paintings,sketches,(worst quality:2),(low quality:2),(normal quality:2),low res,normal quality,((monochrome)),((grayscale)),skin spots,acnes,skin blemishes,age spot,glans,bad legs,error legs,bad feet,malformed limbs,extra limbs

Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 3934566533, Size: 512x768, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, VAE hash: df3c506e51, VAE: vae-ft-mse-840000-ema-pruned.ckpt, Denoising strength: 0.5, Clip skip: 2, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+ Anime6B, Lora hashes: “Gini_S2: e2e472c06607”, Version: v1.7.0

2、ControlNet完整界面

点击图片可以放大查看

3、界面通用功能介绍

以下部分无法你在使用什么模型或预处理器，都将会被显示的，所以进行单独统一讲解。

• 启用

• 勾选ControlNet区域的启用按钮后，点击右上角的生成按钮时，将会实时通过ControlNet的相关设置引导图像生成。注意：如果未勾选ControlNet区域的启用按钮，此时点击右上角的生成，将会忽略ControlNet的所有设置。

• 低显存模式

• 低显存模式如果你的显卡内存小于4GB，建议勾选此选项，可以降低模型的使用门槛，顺利出图。

• 完美像素

• 可以生成更高质量的图像。

• 预览窗口

• 非常建议勾选，只有勾选该复选框之后，才会显示预处理的执行结果预览框，否则难以观察效果。

• 上传蒙版

• 勾选该按钮，可以上传蒙版图片，进一步控制模型绘画区域。

• 控制类型

• 相当于选择预处理器和模型的快捷目录，点击需要的控制类型，会自动加载对应的预处理器和模型。

• 预处理器

• 我们可以理解为预先处理结果，此功能不依赖于模型，模型的使用是根据预处理之后的结果图像来进行生成的。

• 例如我们在该下拉框中选择Canny方式，然后点击💥按钮，将会在预处理结果区域自动生成线稿预览结果。

• 💥

• 在你选择一个预处理功能的处理器之后，我们点击💥按钮，将会在预处理器预览窗口显示该结果。

• 模型

• 该列表的模型选择，必须与预处理选项框内的模型名称对应。

• 如果预处理与模型不一致也可以出图，但效果无法预料，且并不理想。

注意：ControlNet区域内的模型选择框与左上角的模型选择框不一样，这是模型算法的方式选择，如果你希望更改基础大模型，还是需要通过左上角的模型选择来控制的。

• 控制权重

• ControlNet的权重，代表使用ControlNet生成图片的权重占比影响，权重值越大，ControlNet模型的控制效果越强烈。

• 引导介入时机

• 这是是按步数的百分比，如果你设置的生成步数是20步，该值为0.05时，表示第1步(20*0.05)的前面不用引导，从第1步之后开始引导。

• 引导终止时机

• 假如你需要提前结束ControlNet的引导生成，那么可以调节此参数的数值，否则一直到引导结果。例如设置生成步骤是20步，想在第15步终止，那么该值可以设置成0.75，那么第15步以后的步骤就不受ControlNet控制了。

• ControlNet 模式

• 如果你希望你所设置的的ControlNet参数占用生成时的更高权重，那么可以选择此项。

• 如果你希望你所写的Prompt提示词占用生成时的更高权重，那么可以选择此项。

• ControlNet的权重与Prompt权重各占一半，生成图片时相互影响。

• 均衡

• 更偏向提示词

• 更偏向ControlNet

• 缩放模式 我们拿512x512的图像为例，使用三个缩放模式生成一个 1024x1024的图像，看看主要经过了哪些过程：

• 通过添加噪音的方式将图像填充至512x512，然后缩放到1024x1024分辨率。

• 考虑宽高比，先将图片裁剪至 512x512，然后缩放至1024x1024分辨率，会造成左右两侧的一些数据丢失。

• 不考虑宽高比，直接将图像拉伸成1024x1024分辨率。

• 直接调整大小

• 比例裁剪后缩放

• 缩放后填充空白

• 预设

• 用于保存已经配置好的ControlNet参数，以便后续快速加载相关参数。

• [Batch Loopback]

• Automatically send generated images to this ControlNet unit in batch generation，点击开启后，在mov2mov等持续性生成过程中，每一帧的结果都会进行ControlNet控制。

二、线稿反转｜invert(from white bg & black line)

该预处理功能没有任何对应的模型，它的作用就是反转：将黑底白线条变成白底黑线条或者将白底黑线条变成黑底白线条。

1、错误示范

我们选择invert(from white bg & black line)预处理器之后，直接点击💥按钮得到的结果如下图。

生成后的效果有点类似于相机的胶片效果，因数这是使用方法不正确。

2、算法介绍

该预处理的功能主要是为线性类反转颜色的，包括Canny，NormalMap，MLSD，Lineart，Scribble/Sketch等均可以用它来生成线稿反转颜色图。

因为线稿通常是白底黑线，但是我们通过Canny或其它线稿提取模型生成一张线稿之后，将会发现底色为黑，线条为白。

这时候我们使用该算法功能，将生成之后的线稿颜色进行翻转，就变成了白底黑线了。

3、正确使用方法

先用canny或其它线稿模型生成线稿

将线稿进行反转

这样我们就得到了线稿的反转图了。

4、生成效果对比

我们按上述配置好以后，点击“生成”按钮，其它所有参数保持不变。

我们发现主要表现在图片的颜色和明暗发生了很大的变化，这就是线稿反转的作用。

三、Canny模型介绍

1、模型功能

Canny模型的主要功能是提取并生成线稿，通过线稿进行二次绘制。

2、模型界面

我们按上图勾选和点击相关按钮，就生成上图的预览处理结果了。

3、使用方法

我们将种子值改成随机值(-1)，点击生成，我们发现生成后的图片和我们提供的原图没有太大差别。

很明显这并不是我们想要的结果，那么我们换个Lora呢？将上述的正向提示词的Lora改成如下：

(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),(photorealistic:1.4),1girl on street,beautiful face,big eyes,Kpop idol,((knitwear)),(grey hair:1.1),collarbone,(medium breasts),(looking at viewer,parted lips,smile),upper body,lora:zny\_10:0.7

其它所有参数都不变，我们重新通过ControlNet引导生成，看下效果：

分列图片

这才是Canny的正确打开方式，通过这种方式，更换大模型将人物转成二次元人物。

我们尝试将大模型更换成二次元的模型，点击生成：

通过Canny生成的线稿图，我们可以将人物重新生成各种不同风格的图片，这就是Canny模型的作用。

Tips：

• Canny模型额外多出了2个参数：Canny low threshold和Canny high threshol，是Canny提取线稿时的最低阈值以及最高阈值。

• 高低阈值限制将会影响提取线稿的细节控制，假如最高阈值参数过低，那么所得到的线稿细节就越少，反之亦然，大家可以动手尝试一下他们的区别。

今天的内容就介绍到这里，AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除