Stable Diffusion【 ControlNet实战】OpenPose 轻松制作武侠动作

已于 2024-12-30 19:30:35 修改
阅读量909 收藏 15
点赞数 23
分类专栏： SD应用教程 AI绘画 文章标签： stable diffusion 人工智能 AI作画 AI绘画 AI绘画入门
于 2024-08-16 10:58:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/libaiup/article/details/141254012
版权

如何通过Stable Diffusion ControlNet来进行姿态控制。来一起来看下简单示例：

参数设置：

大模型： 墨幽人造人_v1080

模型下载地址： https://www.liblib.art/modelinfo/9470cdf92e33f5ad72cc2f40f834a69a

分辨率： 768*512

采样方法 (Sampler)： Euler a

迭代步数 (Steps)： 50

提示词引导系数 (CFG Scale)： 7

Lora：仙侠古装_仙侠1.3

*Lora下载地址：*

https://www.liblib.art/modelinfo/014a5ebbf32a41a49278221cc8b974ee

Lora:Xian-T手部修复_v3.0

*Lora下载地址：*

https://www.liblib.art/modelinfo/855ea21b14ad4c04810eade3f05b0fdd

**Lora:**SYK_Mild detail adjuster(用于改变原有画面的姿势、服装、色彩等)

*Lora下载地址：*

https://www.liblib.art/modelinfo/65ebb9c3ebfe4317b82edaea10760b3c

使用OpenPose控制这里其实你可以使用其他图片进行姿态控制，老徐这里仍然推荐这款在线网站，提供了多种姿态。网站地址：https://www.posemaniacs.com/poses，在里面选择一张想要创作的姿态图，可以进行下载或截图保存。

场景一：茶楼静坐图片

启用ControlNet 选择OpenPose (姿态)控制，上传参考姿态图，点击预处理器后面的爆炸图标，进行预览。这里如果出现姿势识别效果很差的时候并不需要担心，我们可以点击预览图右侧的**编辑按钮，**进行进一步的编辑。这里手部没有进行细致调整，所以导致下面生图手部存在严重问题。

图片

图片

编辑调整参考姿态，编辑完成后，点击左上角发送姿势到ControlNet按钮。

图片

下一步，填写提示词进行跑图抽卡，提示词需要根据您想要创作的场景的同时也要贴合下面ControlNet的姿态场景。

图片

提示词：

masterpiece,highres,best quality,1 girI in ancient tea houses, sitting on chairs, chinese immortal,chinese clothes,<lora:仙侠古装_仙侠1.3【chinese immortal,chinese clothes,1gir】:0.6>,lora:Xian-T手部修复_v3.0:1,<lora:SYK_Mild detail adjuster_V1.0_4（MINI）:1>

杰作，高层，最好的质量，1 girI在古老的茶馆，坐在椅子上，中国的神仙，中国的衣服，lora:仙侠古装_仙侠1.3【中国神仙，中国衣服，1gir】：0.6，lora:仙-T手部修复_v3.0:1，lora:SYK_轻度细节调节器_V1.0_4（MINI）：1

图片

前面没有进行手部调整，手部生成的太可怕了，这里老徐尝试进行了隐藏手部

图片

图片

场景二：练习剑术

图片

该姿势上传到ControlNet中后也会出现手部识别的问题，即便使用了手部修复的Lora，但因ControlNet的控制权重过高也会导致失效，这时，老徐同样使用了编辑功能，对手部节点进行适当编辑完善。简单粗暴的方法仍然是去掉所有手指，让AI自己去绘制。

图片

图片

**提示词：**masterpiece,highres,best quality,1 girI Practicing swordsmanship by the river,chinese immortal,chinese clothes,<lora:仙侠古装_仙侠1.3【chinese immortal,chinese clothes,1gir】:0.6>,lora:Xian-T手部修复_v3.0:1,<lora:SYK_Mild detail adjuster_V1.0_4（MINI）:1>

杰作，高层，最好的质量，1 girI在河边练习剑术，lora:仙侠古装_仙侠1.3【中国神仙，中国衣服，1gir】：0.6，lora:仙-T手部修复_v3.0:1，lora:SYK_轻度细节调节器_V1.0_4（MINI）：1

图片

图片

场景三：林中练拳

图片

提示词：

masterpiece,highres,best quality,1 girI Practicing boxing in the forest,chinese immortal,chinese clothes<lora:仙侠古装_仙侠1.3【chinese immortal,chinese clothes,1gir】:0.6>,lora:Xian-T手部修复_v3.0:1,<lora:SYK_Mild detail adjuster_V1.0_4（MINI）:1>

杰作，高层，最好的质量，1 girI在森林里练习拳击，中国神仙，中国衣服lora:仙侠古装_仙侠1.3【中国神仙，中国衣服，1gir】：0.6，lora:仙-T手部修复_v3.0:1，lora:SYK_轻度细节调节器_V1.0_4（MINI）：1

图片

哈哈，看看这个练拳击的，拳击手套都戴上了图片（稍微娱乐一下~）

图片

有时候姿态控制效果不太好，需要自己细心编辑达到更好的效果,由于老徐这里没有进行对手部细致的调整，里面手部控制仍然存在很多问题，即便使用了手部修复Lora 仍然难以控制。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

stable diffusioncontrolNet 预处理器/模型的下载及安装使用教程
代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。
10-19 1783
首先说明，controlNet 的模型 不同于stable diffusion 模型，这一点一定要区分清楚。下面提供多个ControlNet 预处理器+ 专用模型的百度网盘下载链接，都是由群友整理贡献，但各自包含的版本不同，大家可自行选择。推荐下载紫色链接内的模型，fp16版文件更小，稍微新一些的controlnet插件还添加了对control-lora的支持（注意，要求controlnet插件的版本比12月16号新（1.1.423以上）才能正常识别），推荐下载；
【2025 Stable Diffusion ControlNet插件详解】【8.ControlNet色彩模型】
最新发布
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
05-07 385
2025年更新的Color ControlNet已经支持动态渐变控制和材质反射率调节，配合SDXL 2.0的10亿参数模型，设计师甚至可以精确到“丝绸 vs 哑光”级别的色彩质感控制。颜色控制不是取代设计师，而是让我们从重复劳动中解放，专注于创意表达！参考资料Canny+Color模型修改细节案例Recolor模型上色原理商业设计中的颜色锁定技巧T2I-Adapter辅助光影控制。
StableDiffusion 大模型主流的有哪些？
ice829的博客
05-20 1061
经过了几个月的沉淀，现在的AI绘画已经变得不同于往日了，随着各种插件，Lora，大模型，vae，embeddings...的出现以及各种插件错综复杂的组合使用，为了不同目的而研发的各种作画工作流，已经StableDiffusion变得越来越像一个专业智能绘图软件了
武打动作库
05-27
武打动作库，3d max 武打动作库 bip文件
AI绘画Stable Diffusion！必备模型，吐血整理~ 看这篇就够了！【常用模型扫盲篇】建议收藏！
Eqiqi的博客
04-22 870
首先介绍下Stable Diffusion 的模型类别，常见的分为5类：**CheckPoint模型，lora模型，VAE模型，Embedding模型，Hypernetwork模型。**
《Stable Diffusion web UI ControlNet模型下载及使用》
qq_22576071的博客
04-18 9526
Stable diffusion 使用ControlNet 生成高清大图，包含ControlNet 下载踩坑，模型下载使用
Stable Diffuse AI 绘画 之 ControlNet 插件及其对应模型的下载安装
仙魁XAN
09-06 1万+
Stable Diffusion是一个文本到图像的潜在扩散模型，由CompVis、Stability AI和LAION的研究人员和工程师创建。它使用来自LAION-5B数据库子集的512x512图像进行训练。使用这个模型，可以生成包括人脸在内的任何图像，因为有开源的预训练模型，所以我们也可以在自己的机器上运行它，如下图所示。Stable Diffusion 是一个AI 绘图软件 （开源模型），可本地部署，可切换多种模型，且新的模型和开源库每天都在更新发布，最重要的是免费，没有绘图次数限制。
Stable Diffusion 常用模型下载与说明（保姆级）
WANGJUNAIJIAO的博客
05-27 7173
那么，接下来我们就要学习怎么使用Stable Diffusion 中最重要的各类模型了。 因为，相比于Midjourney，Stable Diffusion最大的优势就是开源。相比于Midjourney靠开发人员开发的少数模型，SD则每时每刻都有人在世界各地训练自己的模型并免费公开共享给全世界的使用者。（当然你可以通过训练自己的专有模型而专门用于某一用途，这也将成为你作为AI绘画者的最重要的核心竞争力之一）
Stable Diffusion: ControlNet Openpose
duhaining1976的博客
06-12 667
AIGC研究及应用系列
Stable Diffusion绘画 | ControlNet应用-OpenPose：姿势随心所动
Leo-Fighting的博客
08-12 568
如果生成的图片，觉得存在脸崩的问题，可以开启 ADetail 来修复。
Stable Diffusion插件篇 ControlNet
AA1213888的博客
07-24 1305
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion AI 绘画 之 ControlNet 插件及其对应模型的下载安装
liu289747235的专栏
07-31 1288
ControlNet: ControlNet是一种通过添加附加条件来控制扩散模型（例如Stable Diffusion）的神经网络结构。一般的使用方法是结合Stable Diffusion来做到精准控图。openpose通过上面的方式，ControlNet 可以重用SD编码器作为一个深度，强，鲁棒和强大的骨干来学习不同的控制。许多证据(像这个和这个)验证了SD编码器是一个优秀的骨干。注意，我们连接层的方式是计算效率高的。原始SD编码器不需要存储梯度(锁定的原始SD编码器块1234和Middle)。
controlnet的模型下载
weixin_50348308的博客
02-12 1万+
controlnet模型有sd15和基于sd15上的fp16版本fp16版本的模型比较小，但功能效果跟sd15是一样的controlnet的fp16模型下载地址controlnet的openpose里，有个dw_openpose的预处理器，这个姿态检测的模型效果特别好，比openpose_full好太多，准确太多，这个也需要单独下载。
ControlNet 1.1系列模型解析与下载指南
Sayai的专栏
02-26 2512
ControlNet 1.1是Stable Diffusion生态中功能强大的图像控制插件，包含14个生产级模型，支持建筑、设计、动画等多场景创作。​​​​。
ControlNet｜模型下载
热门推荐
jaccen的专栏
02-28 2万+
基于Stable Diffusion WebUI的V1.5版本官方模型+ControlNet模型融合训练模型，全部模型打包下载。ControlNet+SD1.5模型使用M-LSD线检测来控制SD（也可以与传统的Hough变换一起使用）。该模型基本不能识别人物的，但非常适合建筑生成，根据底图或自行手绘的线稿去生成中间图，然后再生成图片。根据图片生成动作骨骼中间图，然后生成图片，使用真人图片是最合适的，因为模型库使用的真人素材。ControlNet+SD1.5 模型，用于使用精明边缘检测来控制 SD。
Stable Diffusion零基础学习
kat_raja的博客
10-02 672
ControlNet模型下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main。ControlNet安装链接：https://github.com/Mikubill/sd-webui-controlnet.git。ControlNet项目地址：https://github.com/Mikubill/sd-webui-controlnet。旁边Camera icon相机图标：是使用设备的相机拍照，并将其用作输入图像；
Stable Diffusion - 墨幽人造人 模型与 Tag 配置
AGI
07-05 7116
真正的首个可以称之为人造人的“墨幽”。完全真正对墨幽进行了跨世代的全面升级。
AI绘画Stable Diffusion XL 可商用模型！写实艺术时尚摄影级真实感大模型推荐（附模型下载）
A13531922961的博客
05-29 1968
大家在使用AI绘画的时候，是不是遇到这种问题：收藏的模型确实很多，可商用的没几个，而今天阿威将给大家带来的这款写实艺术时尚摄影级真实感大模型-墨幽人造人XL， 对于个人来讲完全是可以进行商业应用滴！根据作者的描述**墨幽人造人XL**在人像真实度方面有着质的飞跃，有着无与伦比的光影视觉冲击，丰富且富有感染力的情绪表达，不论是在影棚的时尚大片、真实感的户外摄影、自然的手机随拍、或是艺术写真方面均有良好的表现。
stable diffusion controlnet
01-11
### Stable Diffusion 和 ControlNet 技术详解 #### 控制生成过程中的不确定性 Stable Diffusion 是一种强大的图像生成功能，能够基于文本描述创建视觉内容。不过，在实际应用过程中发现仅依赖于复杂的提示词难以精准控制输出效果[^2]。 为了改善这一点，ControlNet 扩展被引入到 Stable Diffusion 中来增强模型的表现力。通过利用额外的信息作为条件输入给扩散模型，使得用户可以在一定程度上指导生成流程，从而获得更加符合预期的结果。 #### 获取并加载预训练好的 Community Model 对于想要尝试不同风格或者特定功能的使用者来说，可以从 Hugging Face 平台获取由社区贡献的各种版本的 ControlNet 模型文件。这些资源位于指定链接下，并且支持直接应用于个人项目之中[^1]： - 社区 ControlNet 模型下载地址：<https://huggingface.co/lllyasviel/sd_control_collection/tree/main> #### 配置 WebUI 插件以启用 ControlNet 功能 当已经在本地环境中部署好了基础版 Stable Diffusion 后，下一步就是安装对应的插件以便更好地操作新加入的功能模块。这通常涉及到修改配置文件以及确保所有必要的依赖项都已经正确设置完毕。完成之后就可以在图形界面里找到新增加的操作选项了。 #### 调整参数优化输出质量 值得注意的是，除了简单的开启关闭之外，还可以进一步微调一些高级设定比如 `controlnet_exit_step` 来影响整个渲染周期内的干预程度。例如将该值设为 0.8 表明只会在前百分之八十的时间段内保持激活状态直到第 24 步结束时停止作用[^5]。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler).to("cuda") prompt = "A fantasy landscape with mountains and rivers." image = pipe(prompt=prompt, controlnet_model="path_to_your_downloaded_ControlNet", controlnet_exit_step=0.8).images[0] image.show() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值