Stable Diffusion零基础学习

Stable Diffusion学习笔记TOP15

---

@@_插件篇之ControlNet功能篇

ControlNet目前支持的10多种预处理器，根据数据检测种类可分为两种类型：
1、功能型：拥有着不同的能力
2、构图型：控制着SD扩散图形的构图规则

构图类之OpenPose姿态：用于检测人体各部位的关键点，只提取姿态信息不提取其他细节；它可以引导人物的姿态扩散从而到达人物指定姿态的作用；不同预处理器的区别只是在于提取的数据不同而已，我们可以根据所需要的人物姿态来选择不同的预处理器。
模型文件：control_v11p_sd15_openpose.pth
配置文件：control_v11p_sd15_openpose.yaml

姿态：用于检测人体关键点（头部、肩部、手部等位置）
姿态 + 人脸：检测人体姿态，加上面部
人脸：只检测人脸而不检测其他关键点
姿态手部及脸部：将关键点检测为姿态以及手部、手指部以及面部信息

备注：也可以不使用预处理器，直接使用姿态控制图进行扩散。
也可以把提取好的图像转换为数据文件；通过【OpenPose编辑器】等插件进行局部的调整，达到完全掌握人物姿态的作用。

---

构图类之Depth深度：可以根据我们输入的图像猜测深度信息，适用于对场景的描绘还原，尤其是富有多层次的空间图形；距离越近越白，距离越远阴影越深。
模型文件：control_v11f1p_sd15_depth.pth
配置文件：control_v11f1p_sd15_depth.yaml

备注：可以控制人物的构图跟场景的构图，是我们在扩散时常用的扩散网。不同的深度预处理器检测的深度的数据算法不一样；可根据不同的需求进行相应的调整。

LeResS深度估算：检测构图，细节偏少；

LeResS深度估算++：检测构图，环境主体细节更多

MIdas深度估算：主体细节更多，环境细节更少

Zoe深度估算：主体细节少，环境细节多

【深度+提示词 —— 可以固定构图以及图像层次，配置允许的话还可配合高分辨一起使用】

【深度插件 + 局部重绘进行修手】

---

构图类之法线贴图：可以提取输入图像像素表面的方向；对于ControlNet，它是一个图像，图像像素代表表面所面对的方向而不是我们所看到的颜色值；与深度图有着类似的作用；仍可根据我们需要提取的信息选择不同的预处理器，但更适用于传输输入图像的3D合成提取层次结构。
模型文件：control_v11p_sd15_nomalbae.pth
配置文件：control_v11p_sd15_nomalbae.yaml

输入图像为3D图像时，法线提取效果比深度更好。