AI绘画SD插件ControlNet模型解析

ControlNet控制网

功能型：

• IP2P : 环境背景天气修改, 以及单独修改人物， make it xxx 。

• Tile分块重采样：忽略细节，并添加新的细节。

• Inpaint局部重绘： 修改局部时， 更能懂得输入的提示词元素。

• Reference参考：生成与参考图像相似的图像。会受模型和提示词的影响。只使用预处理器，不适用控制模型。

  Tip：双重参考可以达到2者融合合成的效果，比如头部和身体，在2个ControlNet单元中进行。

• Shuffle：洗牌转换，将整个输入图像构图打乱，重新进行组合，构图变化，生成一系列S卡。

• Seg语意分割: 把一些类别的东西进行区分, 对应的地方填上对应的东西，提取到了元素的精确位置。ADE20K和Coco分割的颜色图是不同的。

T2IA自适应：

• color_grid：像素画处理，提取图像主要颜色，不保留构图。
• sketch_pidi：手绘边缘处理，提取大体轮廓。
• style_clipvision：风格迁移处理，将输入图像转化为clip视觉嵌入。包含有关图像内容和风格的丰富信息。参考比reference更加强。

构图规则型：

• OpenPose姿态：检测人体各部位的关键点，只提取姿态信息，用于控制绘图中人物的动作和姿态，可以自己调节，主要有：头、肩部、胳膊、手、屁股、腿、脚，这样就能基本上控制人物的平面姿态了，3D OpenPose 则可以旋转调节角度，控制三维姿态。

  Tip：使用控制图进行扩散时，不使用预处理器，

• canny 算法: 将背景图轮廓描绘出来, 将人物和周边的景物轮廓描绘出来，硬边缘方式。图像线条性更好，适合制作艺术字和Logo。

• Lineart线稿：可以用于人物上色。

• pedNet : 边缘检测算法, 检测的东西更加粗糙, 没有hed精细。

涂鸦算法: 把重要地方展现出来，用的比较少。

depth 算法: 深度图算法, 捕捉图片中的空间关系，还原场景，控制人物和场景。

• LeRess：检测构图，细节少。
• LeRess++：检测构图，环境主体细节更多。
• Mldas深度估算：主体细节更多，环境细节更少。
• Zoe深度估算：主体细节少，环境细节多。

法线贴图:提取轮廓内部的特征，适用于传输输入图像的3D，输入图像3D时，法线提取效果比深度更好。

SoftEdge软边缘：

• hed算法 : 模糊边缘, 对细节进行补充。带safe的细节和质量更高，也更吃显存。

M LSD直线检测器： 忽略曲线，提取直线，适用于建筑大模型和Lora。