在Stable Diffusion WebUI中使用ControlNet控制人物姿势

文章介绍了如何在StableDiffusionWebUI中集成和使用ControlNet扩展来控制人物姿势,包括下载和配置ControlNet模型,解决可能出现的问题,并提到虽然生成的人脸质量可能会下降,但姿势控制效果良好。此外,文章还提及AI科技革命的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在Stable Diffusion WebUI中使用ControlNet控制人物姿势@TOC

前期准备

这个教程默认你已经安装好了stable-diffusion-webui, 并且已经学会了基本的用法,加载骨干模型和Lora等辅助模型。

已经如下图所示可以生成图片了:

在这里插入图片描述

新的改变

然而,这样生成的人物难以控制动作,因此需要添加扩展:sd-webui-controlnet,将其下载后,放入WebUI根目录下的extention目录下,重启。

这样在主页面就可以看到ControlNet下拉菜单了,点击之后,按照下方的顺序选择。

其中模型需要自己找资源下载【官网的模型太大,这里有个小的:这里】,我下载了openpose的模型,因此Preprocessor也因此需要改为openpose。图片大小设置为与上面的相同。都设置好之后,运行即可。如果提示FileNotFound而且姿势不起作用,那么去webUI根目录修改config.json,修改最下面的"control_net_model_config", “control_net_model_adapter_config”,为真实的目录即可。
在这里插入图片描述

效果展示

可以看到使用了ControlNet之后,可以控制人物的姿势了,但是似乎生成的人脸质量会下降一点,但是姿势整体是对的。
在这里插入图片描述

后话

第四次工业革命——AI科技革命已然爆发,对具有大国梦的中国来说很不幸这一次还是发生在美国,为了不让中国落后太多,这个帖子目的主要是让更多的人了解世界前沿的科技。
[1] https://github.com/Mikubill/sd-webui-controlnet
[2] https://github.com/AUTOMATIC1111/stable-diffusion-webui
[3] High-Resolution Image Synthesis with Latent Diffusion Models

### 使用或配置ControlNetStable Diffusion Web UI中的方法 ControlNetStable Diffusion的一个扩展功能,允许用户通过额外的输入(如边缘检测图像、深度图等)来引导生成过程。以下是关于如何使用或配置ControlNetStable Diffusion Web UI中的详细说明: #### 1. 安装ControlNet扩展 首先需要安装ControlNet扩展。可以通过以下命令克隆ControlNet仓库并将其添加到Web UI中[^3]: ```bash git clone https://github.com/Mikubill/sd-webui-controlnet.git extensions/sd-webui-controlnet ``` #### 2. 配置环境依赖 确保已经安装了必要的依赖项。如果尚未安装xformers库,可以参考提供的方法进行安装[^2]: ```bash pip install xformers==0.0.16rc425 -i https://pypi.tuna.tsinghua.edu.cn/simple ``` 这一步可以显著提升性能,尤其是在处理复杂模型时。 #### 3. 启动参数调整 启动Stable Diffusion Web UI时,需要确保加载了ControlNet相关的模块。可以在`webui-user.sh`文件中添加以下内容以启用ControlNet支持[^1]: ```bash --controlnet --xformers ``` #### 4. 使用ControlNet界面 启动Web UI后,ControlNet选项将出现在左侧工具栏中。选择所需的预处理类型(如Canny边缘检测、深度估计等),然后上传相应的引导图像。以下是一些关键步骤: - **选择模型**:从下拉菜单中选择一个预训练的ControlNet模型。 - **上传引导图像**:上传一张用于引导生成的图像。 - **调整参数**:根据需求调整权重和强度参数,例如`Control Strength`。 #### 5. 运行生成任务 完成上述配置后,点击“Generate”按钮开始生成图像。生成过程中,ControlNet会结合引导图像和文本提示生成符合预期的结果。 ### 示例代码片段 以下是一个简单的脚本示例,展示如何通过命令行运行带有ControlNet的生成任务: ```python from diffusers import StableDiffusionControlNetPipeline, ControlNetModel import torch # 加载ControlNet模型 controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16) # 加载主模型 pipe = StableDiffusionControlNetPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16 ) # 设置设备 pipe = pipe.to("cuda") # 执行推理 image = pipe("a photo of a cat", num_inference_steps=20).images[0] image.save("output.png") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值