Stable Diffusion WebUI安装ControlNet插件

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。

sd-webui-controlnet下载地址：

GitHub - Mikubill/sd-webui-controlnet: WebUI extension for ControlNetWebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.https://github.com/Mikubill/sd-webui-controlnet

安装ControlNet插件

打开 WebUI 界面 http://127.0.0.1:7860/

1. 点击 "Extensions" 选项卡
2. 点击 "Install from URL" 选项卡
3. 将 sd-webui-controlnet 的git地址粘贴到 "URL for extension's git repository"下面的输入框
4. 点击 "Install" 按钮
5. 重启 Web UI

安装成功后，插件位于WebUI目录的extensions\sd-webui-controlnet

下载ControlNet模型

ControlNet模型地址：

https://huggingface.co/lllyasviel/ControlNethttps://huggingface.co/lllyasviel/ControlNet

将下载的模型放到 extensions\sd-webui-controlnet\models 目录下

1. 打开WebUI界面，展开ControlNet，勾选Enable
2. 将Preprocessor（预处理器）选择canny，Model选择control_sd15_canny
3. 拖拽一张图进来，填写Prompt
4. 点击生成

会得到一个线稿图和一个新生成的同样构图的画图。

ControlNet模型说明：

• ControlNet/models/control_sd15_canny.pth

Canny模型，可以根据边缘检测，从参考图中提取线稿，再根据提示词，来生成同样构图的画面。

• ControlNet/models/control_sd15_hed.pth

held模型，和canny相似，它使用软Hed边界保留输入图像中的细节，绘制的人物明暗对比明显，轮廓感更强，适合在保持原来构图的基础上对画面风格进行改变时使用

• ControlNet/models/control_sd15_scribble.pth

scribble模型，涂鸦成图，比Canny自由发挥程度更高，可以用于对手绘线稿进行着色处理。

• ControlNet/models/control_sd15_depth.pth

depth模型，从参考图中提取深度图，进而生成具有同样深度结构的图。该模型可以较好的掌握图片内的复杂3维结构层次，并将其复现。当原图中的人物有前后关系时，depth的效果更好。

• ControlNet/models/control_sd15_normal.pth

normal模型，提取参考图中3D物体的法线向量，以法线为参考绘制出一副新图，此图与原图的光影效果完全相同。适用于3维制图，用于法线贴图，立体效果。比depth模型对于细节的保留更加精确，因为能很好地抓取物体形状，所以可以用来更换图片背景。

• ControlNet/models/control_sd15_openpose.pth

openpose模型，从参考图中提取人物的姿势，然后依据提示词生成一副相同姿势的图片。用户也可以直接输入一张姿势图。

• ControlNet/models/control_sd15_seg.pth

seg模型，通过对参考图内容进行语义分割，可以区分画面色块，适用于潦草草图上色和大场景的画风更改

• ControlNet/models/control_sd15_mlsd.pth

mlsd模型，可以进行直线检测，通过分析参考图的线条结构来构建出建筑外框，适合建筑设计的使用。