Stable Diffusion 准确绘制人物动作及手脚细节（需ControlNet扩展）

最新推荐文章于 2025-04-25 18:09:52 发布
最新推荐文章于 2025-04-25 18:09:52 发布
阅读量1k 收藏 19
点赞数 23
分类专栏： Stable Diffusion AIGC 文章标签： stable diffusion AIGC AI作画 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71744960/article/details/145320682
版权

注意：正式使用前请先确认你的Stable Diffusion Webui中已经安装了ControlNet扩展和OpenPose Editor插件，ControlNet扩展所需的模型candy、depth、openpose（建议全给装了）也部署到位。

在这里插入图片描述

流程整理：无论那种方法，操作思路都差不多

  1. 参考图：摆pose出参考图，尽量表达到位；
  2. 分析调试：将参考图提供给controlnet使用并进行微调；
  3. 出图：Stable Diffusion开盲盒出图（期间需若干参数调整）。

一、在线人偶摆pose法

准备

大都大同小异，具体摆pose方法我就不写了，多调调就能掌握的。
网址：
https://app.posemy.art/
https://webapp.magicposer.com/
https://www.anyposes.com/

参考图

摆好相机位置，清除背景，生成pose参考图。
在这里插入图片描述

分析调试

将图片放入controlnet，分析openpose，得到结构图（重要），深度图和边缘图看需要，注意权重、介入和退出的时机。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
越白越亮表示离观看者越近，本案例中右侧的人物更亮更白，这说明controlnet的深度图分析错了。

生图

本节参考图中的人物细节有重合的部分，因此将容易混淆的部分用文字描述来约束。
在这里插入图片描述

Generation Data：

modelshoot style, 2warrior, fall backward with arms outstretched, push down, Roman Colosseum, helmet, cloudy sky, 
Negative prompt:  easynegative
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

二、OPENPOSE自画法

准备

参考图

通过 OpenPose Editor 编辑一下人物形态。
在这里插入图片描述

分析调试

发送到 >>>文生图，并且配置参数

在这里插入图片描述

生图

随便写点适合的东西。
在这里插入图片描述

Generation Data：

modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, beautiful women, (1dancer:1.5),(2hands:1.5)
Negative prompt:  easynegative, canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

在这里插入图片描述

单纯使用本方法的话，目前没法产生深度图和边缘图。

3D进化

3D版的openpose，参考这篇文章进行操作：
AI绘图实战（十一）：将纸质儿童画修改为电子照片/3D Openpose插件使用 | Stable Diffusion成为设计师生产力工具

三、Blender三维建模方式

本方法可以提供深度图、结构图~~~

准备

参考图

用blender打开下载的模型，调整人物的姿势，如图：

在这里插入图片描述
调整分辨率

在这里插入图片描述

分别打勾depth、canny、pose后渲染图形就能得到controlnet所需的图片
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

出图方法如下：

  • 深度图
    如上图选中depth，渲染出深度图另存即可
    在这里插入图片描述

  • 边缘图
    选中canny后根据下图配置完compositing，再渲染保存就是canny图
    在这里插入图片描述
    在这里插入图片描述

  • 骨骼图
    取消canny图中所设置的反转颜色，否则出图不正确
    在这里插入图片描述

选中openpose后渲染图形

在这里插入图片描述

分析调试

将三张图分别导入controlnet中，参考方案一。

生图

写一下关键字生图。
在这里插入图片描述

在这里插入图片描述
stable diffusion似乎在这个机位角度对身形的分析并不好，这小粗腿。-_-!

四、常用图片识别法

准备

真人摆pose照一张

参考图

本文用安娜·谢尔巴科娃的照片~~
在这里插入图片描述

分析调试

controlnet分析绘制出边缘图、骨骼图和深度图。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

这种干净单一的画面，controlnet分析出的结果是比较准确的，所以如果真的用于生产制作，那么绿幕或干净的背景还是有一定必要的。

生图

在这里插入图片描述

figure skating, Style-Empire, 8k portrait of beautiful young woman, sports
Negative prompt: [lowres, cropped, watermark, jpeg artifacts, low quality, normal quality, bad anatomy, text error, worst quality]
Size: 1024x691, Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 5,

在这里插入图片描述

在这里插入图片描述

如果降低controlnet的约束参数，很可能生图生出双人滑冰~~

在这里插入图片描述

简单易用，以后想作图自己做动作就行了。

五、PS修补法

这是针对图样出完以后的细节修改方法。

准备

  • 准备好PHOTOSHOP等图片编辑软件
  • 准备一张待修改的图片

在这里插入图片描述

  • 寻找一张手图
    在这里插入图片描述

参考图

  • 在photoshop中，将手放在合适的位置并且将色彩尽可能调一致，这涉及到phososhop的部分知识。

在这里插入图片描述

分析调试

生成参考图导入Stable Diffusion的 图生图>>>局部重绘

画笔涂抹需修改的对象（此处为手）后，配置参数（需多次调整）生图，直到满意为止。
其间可能除了修改主要对象外，对对象周围的部分也可能以涂抹方式修改。

请添加图片描述

生图

手的光影色彩协调了（其实错了），但细节丢失了。

在这里插入图片描述
像这种小修小改的，绘画专业的人员用传统方式改动可能更快更细腻更准确。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。

二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候，往往书籍代码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入门stable diffusion，科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程
水滴的博客
04-17 1万+
ControlNet（控制网络）是一种先进的神经网络架构，它为基于扩散模型的 AI 绘画流程引入了精确的控制机制。通过整合额外的条件约束，ControlNet 显著增强了图像生成的可预测性和指导性。在 ControlNet 的辅助下，用户能够对生成的艺术作品进行细致入微的指导，实现对构图、色彩、风格等多维度因素的把控，从而满足各种复杂场景和个性化需求。这一技术为 AI 绘画领域带来了革命性的突破，使得 AI 绘画能够更好地满足用户的具体需求，成为一种真正的生产力工具。项目链接地址论文。
〔008〕Stable Diffusion 之 ControlNet 篇
国内某知名游戏公司小菜鸡工程师
06-06 1878
让AI绘画向生产力工具进步的神级工具
Ai绘画工具，Stable Diffusion插件使用攻略
HJS123456780的博客
03-22 2483
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion 准确绘制人物动作及手脚细节（需ControlNet扩展）_app.posemy.art
Python栈_基的博客
03-18 1691
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。这种干净单一的画面，controlnet分析出的结果是比较准确的，所以如果真的用于生产制作，那么绿幕或干净的背景还是有一定必要的。像这种小修小改的，绘画专业的人员用传统方式改动可能更快更细腻更准确。
【实时绘画】comfyUI 实时绘画工作流 - 投屏
资深网络工程师
12-21 1195
将你需要的画面，选择share 然后set 设置窗口尺寸 最后LIVE 实时生成画面。当一切都觉得可以，将所有锁定的其他精修画面窗口打开，进行放大精修。如果要开启lora，右键-bypass。可生成人物动作-直接保存openpose。
【3D】designdoll 人偶生图 入门到精通 ☑
资深网络工程师
12-22 1944
将control中的图片更换，然后再次开启loopback进行图片生成。开启高清放大 打开R-ESRGAN 4x+首先建立一个模型，打开desgindoll,输入。将一张好的手部，一张需要修复的手部，导入PS中。将好的手部抠出来，复制到坏掉的手部中。图生图：openpose+depth。xPoseMy.Art​编辑a。文生图：tile+lineart。designdoll 下载模型。designdoll 下载模型。1：更加符合原图，固定的画面。ADetailer 加入参数。
稳定扩散中的3D姿势，打造完美图像！绝对神奇！
Aitrepreneur的博客
08-12 250
用免费3D软件轻松给AI图片生成器Stable Diffusion添加姿势 这篇文章介绍了如何利用免费的在线3D软件，为Stable Diffusion生成图片添加自定义姿势。作者推荐了两个网站：MagicPoser和PoseMyArt，它们都可以在浏览器中直接使用，无需下载安装。 MagicPoser的特点是操作简单，使用反向运动学（IK）技术，可以轻松地通过拖动肢体来调整角色的姿势。虽然功能相...
Stable Diffusion web UI之ControlNet使用
Lassi的博客
06-19 2321
使用 Stable Diffusion 一段时间后，您可能已经注意到图像的输出具有无穷无尽的结果可能性。感觉是在赌这一下能不能拍出好图。然而，即使输入如此复杂和详尽的提示，您也会觉得您可以控制方向盘或控制 AI 的程度仍然有限​​。AI 能够以完全相同的方式适应提示或图像的程度会有限制。除了基本参数外，Stable Diffusion 还有很多控制和学习和掌握的空间。所有控件都具有重要作用，具体取决于您对最终结果的目标。
Stable Diffusion 多角度人设立绘生成
Mr数据杨
07-06 3064
通过对Stable Diffusion及ControlNet骨骼图功能的合理应用，角色立绘的生成流程得以极大优化，使插画师能够以较少的时间与精力获得高质量的输出。此方法不仅增强了多视角绘制的灵活性，还简化了整体设计流程。在此基础上，利用ADetailer等细节修复工具，创作者可以进一步完善图像中的人物面部和其他关键部位，为成品带来更真实与精细的表现力。这一创新性流程为角色设计注入了高效、灵活的可能性，为创作带来更便捷的表达方式。
揭秘 Stable Diffusion：利用 AI 智能绘图功能，打造出具有创意性的平面设计作品——AI 作图神器 Stable Diffusion 有哪些强大功能？应用案例详解
热门推荐
AI天才研究院
06-12 3万+
在当今数字化时代，人工智能技术已经深入到我们的生活中的各个领域。其中，AI 智能绘图功能已经成为了许多设计师和创意工作者的必备工具。今天，我们将为大家揭秘一款备受关注的 AI 作图神器 Stable Diffusion，它具有哪些强大的功能和特点。Stable Diffusion 是一款基于开发的作图神器，具有许多强大的功能，包括：1.：Stable Diffusion 可以智能识别用户上传的图片，并自动调整图片质量和色彩，让图片更加清晰、饱满。
成为提示专家，AI艺术杂志：AI Unleashed 第一期
shadowcz007的博客
01-26 993
shadow最近发现了一期AI艺术的杂志。名称叫 AI Unleashed，是一本深入探索 AI 和想象力的杂志。每期杂志都将填满精彩的 AI 艺术，激发你的好奇心， 让你更加了解最新的 AI 技术，以及它如何改变现有工作流和我们对艺术和技术的看法。主要有四个栏目：助你成为提示专家、艺术家聚焦、艺术与思想、游戏中的人工智能艺术。具体包括：- 特色文章和挑战，供艺术家和开发人员参与- 展示最优秀的艺...
免费3D骨架工具
SAME999ABC的博客
11-12 476
@免费3D骨架工具 : https://posemy.art/经测试，需要使用stable diffusion最新版本的源码OC](这里写自定义目录标题)你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z 重做
【StableDiffusion教程】StableDiffusion神级控图功能！openpose控制身体的362种姿势
A2421417624的博客
12-06 979
在使用Stable Diffusion创作的时候，经常会遇到一个问题：角色的身体并不是创作者想要的姿势。
​Stable Diffusion:Diffusion Model
jerwey的博客
04-25 799
Diffusion（扩散）在 Stable Diffusion 中指的是“加噪-去噪”的生成过程，核心思想是通过学习如何逆转噪声的扩散过程来生成数据。使其高效，条件扩散使其可控，从而能够根据文本生成高质量的图像。生成的图像质量高，细节丰富。可以通过调节噪声步数（如 DDIM 的）平衡生成速度和质量。结合文本条件，实现高度可控的图像生成。
初探Stable Diffusion：开启AI图像生成的新纪元
qq_34348690的博客
04-23 1194
Stable Diffusion是由Stability AI开源发布与维护的创新图像生成技术，是一种支持文本到图像生成（Txt2Img）的模型。
零基础快速搭建AI绘画网站！用Gradio玩转Stable Diffusion
曲幽
04-25 373
借助Gradio，简单几行Python代码即可快速搭建一个专属的AI绘画网站，轻松部署Stable Diffusion文生图应用，gradio自带的组件已经相当美化了，前端基础也省了！
【AIGC】基础篇：VS Code 配置 Python 命令行参数调试debug超详细教程
最新发布
十一逐星的博客
04-25 1055
在 Python 开发过程中，调试是必不可少的环节。VS Code 提供了强大的调试功能，可以帮助开发者轻松地进行代码调试。今天，就让我们一起学习如何在 VS Code 中配置 Python 的命令行调试，即使是小白也能轻松上手。
stable diffusion控制人物姿势
12-31
### 如何在 Stable Diffusion 中控制生成图像的人物姿势 为了更好地控制Stable Diffusion（简称SD）中生成图像的人物姿势，可以通过ControlNet插件实现更精确的控制[^1]。具体来说，在安装并配置好ControlNet之后，用户能够利用该工具来指导模型按照指定的方式绘制人物姿态。 对于希望调整或设定特定人体结构的情况，OpenPose Editor是一个非常实用的选择[^3]。此编辑器允许使用者直接操作骨架节点，比如添加新的肢体位置如左手的关键点，或是改变身体各部分的比例关系。经过这些修改后的骨骼数据会被传递给ControlNet作为附加条件用于后续创作过程中的参考依据。 此外值得注意的是，由于Stable Diffusion本身作为一个基于潜空间表征学习得到的强大生成对抗网络框架，其具备接收多种不同形式输入的能力——无论是来自CLIP编码过的描述文字还是其他类型的提示信息都能被有效解析并融入到最终产出之中[^2]。因此当我们将经由上述方法处理过的人体姿态特征送入系统时，便能获得更加贴近预期效果的作品。 下面给出一段简单的Python脚本示例，展示如何调用相关API接口完成这一系列流程： ```python from diffusers import StableDiffusionPipeline, ControlNetModel import torch from PIL import Image import numpy as np controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-openpose") pipe = StableDiffusionPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", controlnet=controlnet).to("cuda") prompt = "A person doing yoga" image_path = 'path_to_your_pose_image.png' # 替换成实际路径 init_image = Image.open(image_path) result = pipe(prompt=prompt, image=init_image) output_image = result.images[0] output_image.save('generated_with_controlled_pose.png') ``` 这段代码展示了加载预训练好的ControlNet模型以及Stable Diffusion管道，并通过提供一张包含目标姿态的图片作为初始输入，进而引导算法创造出具有相似动作形态的新图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值