stable diffusion AI精准绘图——ControlNet控件的安装与使用

今天我们来介绍一下controlNet 控件的安装与使用。所有的AI绘画工具，模型和插件资源·，AI学习资料及教程都已经整理好了，文末扫码即可免费获取噢~

首先说一下，stable diffusion webUI 相关的软件已经更新，安装完成后，会提示pytorch CUDA版本与torchvision CUDA版本不一致的问题，这里可以安装如下pip 进行相关pytorch CUDA与torchvision CUDA版本的安装即可。ControlNet控件的安装与使用，我们需要使用ControlNet控件来模仿如下图片的人体姿态，生成AI图片。

RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions.PyTorch has CUDA Version=11.7 and torchvision has CUDA Version=11.8.` `Please reinstall the torchvision that matches your PyTorch install.当安装完成，运行脚本提示以上错误时，请安装如下库文件。``pip install torch1.13.1+cu117 torchvision0.14.1+cu117 torchtext0.14.1 torchaudio0.13.1 torchdata==0.5.1 --extra-index-url https://download.pytorch.org/whl/cu117

ControlNet控件的安装与使用

第一:stable diffusion webUI的安装

在安装ControlNet控件前，我们需要运行stable diffusion webUI

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git%cd stable-diffusion-webui!git clone https://github.com/Stability-AI/stablediffusion repositories/stable-diffusion-stability-ai###########第一步，clone以上2个工程文件!pip install -r requirements.txt!pip install open_clip_torch!pip install k_diffusion!pip install taming_transformers-rom1504!pip install fastapi==0.90pip install torch1.13.1+cu117 torchvision0.14.1+cu117 torchtext0.14.1 torchaudio0.13.1 torchdata==0.5.1 --extra-index-url https://download.pytorch.org/whl/cu117############第二步，安装以上第三方库``!python launch.py --share --xformers --enable-insecure-extension-access --theme dark 第三步，直接运行即可，是的，就需要以上三步，就可以运行了

第二:stable diffusion webUI ControlNet控件的安装

安装ControlNet控件的步骤与我们汉化教程类似，首先，我们打开stable diffusion webUI程序，然后依次打开Extensions>>Available>>Load from>> Extension index URL，此URL一般都默认填充了，如没有链接，可以直接输入图片中的链接，然后直接选择Load from按钮。

点击此Load from按钮后，webui程序会加载所有webui兼容的扩展程序，我们直接Ctrl+F4进行搜索关键词controlnet。找到sd-webui-controlnet插件，直接点击install安装即可。

这里install安装完成后，后提示installed，然后选择Extensions>>installed>>sd-webui-controlnet选择Apply and restart UI即可。

重启webui程序后，我们就可以在图生图或者文生图功能界面下面看到controlNet的菜单栏了，通过以上的步骤我们就成功安装了controlNet插件。当然若想成功运行controlNet，我们还需要下载相关模型。

第三:stable diffusion webUI ControlNet控件的模型下载

controlNet的运行同样需要下载相关的模型，这里我们需要进行人体姿态的检测，因此我们需要下载openpose的相关模型，其模型可以直接到hugging face上面直接搜索即可。controlnet控件下主要2个文件夹，其中models文件下放置我们下载的预训练模型，annotator文件夹下放置预处理模型，当然这个预处理模型可以不用下载，代码运行时，模型的相关文件会自动下载。

stable-diffusion-webui/extensions/sd-webui-controlnet/models #放置模型文件``stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads/openpose#放置openpose预处理文件

搜索到controlnet模型库后，我们可以看到其中主要包含2个文件夹，一个models，一个annotator，当然里面包含了很多相关的模型，本期，我们重点介绍的是人体姿态，依次我们下载相关的open pose模型即可。

这里关于预处理模型，我们下载body pose与hand pose 2个模型，下载完成后，放置到

extensions/sd-webui-controlnet/annotator/downloads/openpose文件夹，当然这里也可以不提前下载，代码运行时会自动下载。

openpose的模型文件，我们下载control openpose即可，但是这个模型有6G大小，下载速度很慢，我们下载webui提供的control open pose即可。

webui提供的control open pose，我们直接下载

control_openpose-fp16.safetensors即可，下载完成的模型，放置到extensions/sd-webui-controlnet/models文件夹下。通过以上的步骤，我们的controlnet控件就可以正常使用了。这里重启一个webui界面，加载相关模型。

第四:stable diffusion webUI ControlNet控件的使用

这里我们使用文章第一张图片的prompt，在文生图界面下，按照一模一样的prompt，生成图片，可以看到在没有controlnet控件下，其生成的图片没有任何姿态。

这里，我们点击controlnet控件，上传上面我们的人体姿态图片，勾选enable.

preprocessor这里选择openpose，mode这里选择下载好的模型，其他参数默认即可。设置完成后，直接运行即可。

代码运行后，会自动检测openpose相关文件夹下的模型，其中预处理模型若找不到相关文件，其代码会自动下载相关模型。

##模型运行``Total progress: 100% 60/60 [00:42<00:00,  1.42it/s]``Loading model: control_openpose-fp16 [9ca67cc5]``Loaded state_dict from [/content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_openpose-fp16.safetensors]``Loading config: /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/cldm_v15.yaml``ControlNet model control_openpose-fp16 [9ca67cc5] loaded.``Loading preprocessor: openpose``preprocessor resolution = 512``ControlNet preprocessor location: /content/stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads``Downloading: "https://huggingface.co/lllyasviel/Annotators/resolve/main/body_pose_model.pth" to /content/stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads/openpose/body_pose_model.pth``100% 200M/200M [00:00<00:00, 214MB/s]``Downloading: "https://huggingface.co/lllyasviel/Annotators/resolve/main/hand_pose_model.pth" to /content/stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads/openpose/hand_pose_model.pth``100% 141M/141M [00:00<00:00, 213MB/s]``Downloading: "https://huggingface.co/lllyasviel/Annotators/resolve/main/facenet.pth" to /content/stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads/openpose/facenet.pth

模型运行完成后，便会重新生成一个带人体姿态检测的图片，前后对比可以看到，模型已经学习到了相关人体的姿态，并根据同样的prompt与人体姿态，重新生成了一个带人体姿态的，跟输入图片类似的图片。

当然，模型运行完成后，会自动生成一个人体姿态的图，有了这个人体姿态，我们完全可以使用这个图片作为输入图片，预处理哪里直接选择none即可。这里可以看到，预处理模型是为了检测人体姿态。

以上，便是本期介绍的controlnet控件的安装与使用，当然controlnet控件还包含了很多其他的功能，生成草绘图片，草绘图片上色等等功能，这个我们后期进行分享。

AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除