AI绘画 | ControlNet系列模型及应用场景

大家好，我是爱绘画的彤姐。

“ ControlNet，直译就是控制网络，它本质上是stable-diffusion-webui的扩展插件。本期是简单介绍模型及其应用场景，之前出过部分模型的应用案例。”

Controlnet，一个多功能的控制工具，其作用可以类比于图像和视频的调色过程。

在调色中，无论是对静态图片还是动态视频，我们都依赖于一系列专业工具来实现色彩的精准调控。

这包括白平衡的校准，色温的调节，色相和饱和度的调整，以及亮度的优化。为了提升画质，我们还会使用蒙版降噪和锐化技术。

视频调色则更为复杂，它需要更多的工具来实现如蒙版追踪、人物肤色的调整、图像抠像等高级功能。

同样，Controlnet也提供了多样化的预处理器和模型，以适应不同的需求和场景，确保用户能够获得理想的效果。

正如调色师根据不同的素材和目标效果选择工具一样，Controlnet的用户也可以根据具体的应用需求，选择最合适的预处理器和模型，以达到最佳的控制效果。

01

—

工具安装

你可以从GitHub上手动下载插件到本地，也可以在WebUI的扩展中心，粘贴下面地址，下载，等一小会儿插件就装好了。

controlnet插件地址：https://github.com/Mikubill/sd-webui-controlnet

下载过程中遇到问题的小伙伴可以看文末找到我，无偿分享资料，提供帮助。

打开SD webui，点击扩展（extention），点击从网址安装选项卡，在第一个输入框输入controlnet插件地址，点击安装（install），当看到……restart等字样，说明已安装成功，如图。

02

—

模型应用

ControlNet 提供了多种预处理器和模型，它们可以应用于不同的场景以达到特定的图像处理效果。

以下是一些ControlNet的预处理器和模型以及它们各自的应用场景：

Canny：用于硬边缘检测，特点就是细节很多，适用于需要强调图像边缘的场景，如艺术创作或图像合成。简单理解类似抠图，通过提取黑白线稿的方式再去生成类似的图，细节多了不好，反而会很脏。

也可以做线稿上色，通过invert处理器，就canny下面那一个，反转一下黑白线条就行。

Depth：深度图，适用于3D效果的创建或空间关系的保持。Depth可以很好的控制画面的结构以及光影关系，可以用来进行画面构图的复原，配合详细的关键词可以达到更详细的图片表现效果。简单理解为在二维图片上看到三维空间光影的关系。比如人物、建筑、风景等都可以，是万能的。

NormalMap：利用法线图控制，适用于需要模拟光照和阴影效果的场景。

MLSD（M-LSD直线检测）：适用于直线结构的图像，如建筑设计或室内设计。

Scribble：涂鸦工具，提取图像的大致轮廓，适用于快速草图或概念艺术。你可以用提示词生成简单图或用ps或者其他画布工具，简单画几笔上传照片作为参考图，其他让AI根据你的草图发挥。

Soft Edge：软边缘，提供边缘的柔和过渡，适用于需要平滑轮廓的场景。和canny差不多，只不过没有那么多细节，能让AI自由发挥一点创造性。

Segmentation：图像分割（语义分割），用颜色去分割同类或区分不同类，旨在将数字图像划分成多个具有语义信息的区域或对象，适用于需要区分图像中不同物体的场景。

Openpose：识别和控制人体姿态，适用于人物动作的模拟或动画制作。一般选用dw openpose full，这个比较全面。openpose，openpose face姿态和脸部，openpose faceonly仅脸部，openpose full姿态手部脸部，openpose hand仅手部，dw openpose full可以理解为openpose full的升级版。

Lineart：提取线条艺术，通常用于黑线白底图的上色，也可以从各种图片中提取线条再生成图片。适用于将照片转换为手绘线稿风格，反之也可以。Lineart有粗细深浅的线条区分，与canny相比，除了能控制构图，还能更好还原图片深度。

Instant-ID：及时识别，让用户只需上传一张照片，就能轻松定制出多种风格的 AI 写真。

Inpaint：局部重绘，适用于修复图像中的缺陷或进行创意编辑。好多插件都可以替代它，不做多说。

Tile：用于图像的高清化处理，适用于老照片修复或图像细节增强。

recolor：重新上色，一般两个作用：黑白照片上色，换衣服眼睛服装等颜色。

IP-Adapter，风格迁移，主要就是迁移模型风格到给定图片，可以迁移参考图片的风格。

ControlNet的预处理器和模型可以根据具体的应用需求进行选择和搭配，以达到最佳的图像处理效果。更多模型和应用场景需要大家自行探索。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除