stable diffusion 神经网络插件 controlnet 的安装,很详细

stable diffusion 神经网络插件 controlnet 的安装,很详细

一、前言

学到 stable diffusion 的 controlnet 插件,安装也略微曲折,这里做个记录。

下载前保证 github 能正常访问。

二、下载

1、方式一

直接在 extensions 中搜索

controlnet

在这里插入图片描述

然后找到如下插件,点击 install ,网络不好的情况下可能会下载很久。

在这里插入图片描述

下载完重启即可。

2、方式二

到 github 下载,地址为:

https://github.com/Mikubill/sd-webui-controlnet/tree/main

在这里插入图片描述

然后到“根目录\extensions”,我的是

D:\software\StableDiffusionWeb\stable-diffusion-webui\extensions

使用 git 下载,下载地址为:

https://github.com/Mikubill/sd-webui-controlnet.git

在这里插入图片描述

在这里插入图片描述

然后进入“根目录\extensions\sd-webui-controlnet”,我的是

D:\software\StableDiffusionWeb\stable-diffusion-webui\extensions\sd-webui-controlnet

打开 install.py 文件

在这里插入图片描述

ctrl + f 输入

whl

进行搜索

在这里插入图片描述

拿到所有带 whl 后缀的链接,链接如下:

https://github.com/Gourieff/Assets/raw/main/Insightface/insightface-0.7.3-cp310-cp310-win_amd64.whl
https://github.com/huchenlei/HandRefinerPortable/releases/download/v1.0.1/handrefinerportable-2024.2.12.0-py2.py3-none-any.whl
https://github.com/huchenlei/Depth-Anything/releases/download/v1.0.0/depth_anything-2024.1.22.0-py2.py3-none-any.whl
https://github.com/MackinationsAi/UDAV2-ControlNet/releases/download/v1.0.0/depth_anything_v2-2024.7.1.0-py2.py3-none-any.whl
https://github.com/sdbds/DSINE/releases/download/1.0.2/dsine-2024.3.23-py3-none-any.whl

然后将 install_onnxruntime() 和 try_remove_legacy_submodule() 方法之间的所有代码注释

在这里插入图片描述
在这里插入图片描述

保存退出,接着将上面的每个链接都放到浏览器

在这里插入图片描述

会下载对应 whl 文件,下载好后将它们放到某个文件夹,我的是

D:\software\StableDiffusionWeb\stable-diffusion-webui\extensions\other\controlnet-file

在这里插入图片描述

接着使用

cmd

进入黑窗口

在这里插入图片描述

对每个文件使用如下命令:

pip install "完整文件名"

比如下载 depth_anything_v2-2024.7.1.0-py2.py3-none-any.whl ,命令如下:

pip install depth_anything_v2-2024.7.1.0-py2.py3-none-any.whl

在这里插入图片描述

等待下载完成

在这里插入图片描述

其他文件也是做类似下载,网络不好的情况下下载时间会比较长,全部下载完成后重启

在这里插入图片描述

可以看到 controlnet 已经安装成功了。

在这里插入图片描述

在这里插入图片描述

三、下载模型

到上面那一步,只是把最基础的东西下载了下来,要想使用还需要安装模型,可以到这里下载。

在这里插入图片描述

下载时要把两个名字相同但后缀不同的文件一起下载,比如我要下载这个 openpose 模型

在这里插入图片描述

下载下来后放到“根目录\stable-diffusion-webui\extensions\sd-webui-controlnet\models”,我的是:

E:\software\StableDiffusionWeb\stable-diffusion-webui\extensions\sd-webui-controlnet\models

在这里插入图片描述

然后重启即可

在这里插入图片描述

### Stable Diffusion ControlNet 模型介绍 ControlNet 是一种用于增强和控制 Stable Diffusion 图像生成过程的神经网络模型[^1]。通过引入额外的条件输入,ControlNet 可以更精确地指导图像生成的方向,从而提高生成质量并实现更加多样化的创作效果。 #### 主要功能特点 - **灵活性**:可以与现有的任何 Stable Diffusion 模型无缝集成。 - **多模态支持**:不仅限于文本提示词,还可以接受其他形式的数据作为引导信号,比如边缘检测图、语义分割图等。 - **高效性**:尽管增加了新的组件,但在性能上依然保持了较高的效率。 ### 使用方法概述 为了成功部署和运行 ControlNet ,用户需注意几个关键步骤: 1. 确认安装环境已准备好必要的依赖库;如果遇到 `No module named 'mmpose'` 错误,则表明缺少 mmdetection 或 mmcv 库的支持[^2]。 2. 下载官方发布的预训练权重文件以及对应的配置脚本,并将其放置到指定目录下。 3. 对 Web UI 进行适当设置后重启服务端口,此时应当能够在界面上找到新增加的功能选项[^3]。 4. 根据具体应用场景调整参数设定,尝试不同的组合方式探索最佳实践方案。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, torch_dtype=torch.float16).to("cuda") prompt = "a photo of an astronaut riding a horse on mars" image = pipe(prompt).images[0] image.save("./astronaut_rides_horse.png") ``` 此代码片段展示了如何加载一个基本版本的 Stable Diffusion pipeline 并执行简单的图片生成功能。对于想要利用 ControlNet 扩展能力的情况来说,还需要进一步导入特定模块并修改相应部分以适应新特性需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值