太实用了！关于ControlNet，这篇你一定要看

一篇文章教会你，从入门到使用。

这里是行者AI，我们专注于人工智能在游戏领域的研究和应用，凭借自研算法，推出游戏AI、智能内容审核、数据平台等产品服务。

controlNet控制生成

anypaint

看到这篇文章的你，一定也是AI绘画的爱好者吧。我们有一款可以0门槛上手入门，也可以满足复杂专业生图需求的AI美术在线学习工具anypaint。在线生图，无需硬件和部署。anypaint功能包括文生图、图生图、局部重绘、高清放大、LoRA、ControlNet、潜变量局部放大、平铺扩散、姿势编辑等。不论你是初学者还是专业人士，都能在图刷刷中找到适合自己的绘图方式和独特风格，为你的创意提供无限可能。入股绝对不亏。

ControlNet 的核心能力就是能让我们通过设置各种条件来让AI更可控地生成最终图像结果。这些条件就是通过调节预处理器参数来实现的，所以我们首先要先了解下 ControlNet 各种预处理器的功能，展示部分预处理器效果如下：

每个 ControlNet 的预处理器都有不同的功能接下来我们具体一个一个来看，他们究竟是什么？怎么用？什么时候用哪个？或者那些合适？

（表格太长，完整表格已放评论区，需要自取）

1.Canny 边缘检测

Canny 边缘检测预处理器可很好识别出图像内各对象的边缘轮廓，帮助我们标注轮廓、动作、衣服褶皱、表情等等画面的细节，多用在3转2；常用于生成线稿。
缺点：主体容易被其他的背景影响
1. 预处理器分辨率
预处理器分辨率数值越高越精细，也越吃显存。但如果数值太低生成的线条也会很粗糙。默认512，具体设置时需根据素材大小和实际情况来做权衡。
也可直接勾选【Pixel Perfect】选项，系统自动设置最佳分辨率（推荐）

2.长和宽的阈值，这个值越高线条越简单，越低线条越复杂。
注意：一定要找到和预处理器对应名字一样的模型。

Depth 深度检测

通过提取原始图片中的深度信息，生成具有原图同样深度结构的深度图，越白的越靠前，越黑的越靠后。

MiDaS 深度信息估算

● 用来表示空间距离，也就是前后距离，体现透视关系；越白的就越靠前，越黑的就越往后
● 可以用来更换背景、主体、还有画风之类的东西；有时我们也可以用于生成遮罩蒙版。
● 深度图可由3D软件生成，也可以使用PS
● 如果用人像来检测的

LeReS 深度信息估
如下图能看出我们很好地控制住了生成结果的整体结构，这与原图基本保持一致。

HED 边缘检测

HED 边缘检测可保留更多柔和的边缘细节，类似手绘效果。

参数也是分辨率越高越精细，但也越吃显存。
相对于使用普通的 img2img ，

M-LSD 线条检测

• 适用于四四方方的场景，建筑物，物体，房间、车辆等，生成的预览图就是很正直的线条
• 非常适合搞建筑和室内设计的朋友用

• 直线检测mlsd与canny区别 mlsd只会检测直线，而canny会检测所有边缘线条 如图里的人物，canny会检测出来并生成灯

Normal Map 法线贴图

Normal Map 法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图，便于AI给图片内容进行更好的光影处理，它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多，常用于贴在低模上模拟高模的复杂光影效果。

• RGB 转 BGR

如需要把 Normal map 从 RGB 反转成 BGR 的可把这个选项勾上。（注：因坐标系问题，有时需要反转下通道信息，如生成结果的光照信息和你预期是反的，可能需要勾选此选项）

人物姿势检测

OpenPose 姿态检测

OpenPose 姿态检测可生成图像中角色动作姿态的骨架图，这个骨架图可用于控制生成角色的姿态动作。这个没有涉及手部的骨架，所以手部控制不行有时会出问题。

OpenPose 姿态及手部检测

OpenPose 姿态及手部检测解决了姿态检测手的问题。如下图有了手部骨骼控制生成的手部效果会更好。

除了生成单人的姿势，它甚至可以生成多人的姿势，这点非常关键，在此之前AI生成的画面里多个人物的特定动作是几乎无法靠提示词来实现的。
通过控制人物姿势，在人物角色设计时也可以得到很好应用。