Stable Diffusion 准确绘制人物动作及手脚细节（需ControlNet扩展）

已于 2023-05-19 00:45:42 修改
阅读量1.6w 收藏 84
点赞数 16
分类专栏： AI 制图 文章标签： stable diffusion 数码相机 人工智能 ai绘画 ai
于 2023-03-16 00:15:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snans/article/details/129548688
版权
AI 同时被 2 个专栏收录
32 篇文章 198 订阅
订阅专栏
制图
28 篇文章 32 订阅
订阅专栏

目前AI绘图还是比较像开盲盒，虽然能根据语义提供惊艳的图片，但是与设计师所构思的目标还是有一定距离。
那像我们这种没有绘画功底的程序员想要制作出心中的人物（尤其手脚）姿态，该怎样减少随机开盒的次数呢？
本文提供几种精确控制人物动作的方法。

注意：正式使用前请先确认你的Stable Diffusion Webui中已经安装了ControlNet扩展和OpenPose Editor插件，ControlNet扩展所需的模型candy、depth、openpose（建议全给装了）也部署到位。

不会安装的同学参考：《Stable Diffusion中ControlNet和OpenPose的安装教程》

在这里插入图片描述

流程整理：无论那种方法，操作思路都差不多

  1. 参考图：摆pose出参考图，尽量表达到位；
  2. 分析调试：将参考图提供给controlnet使用并进行微调；
  3. 出图：Stable Diffusion开盲盒出图（期间需若干参数调整）。

一、在线人偶摆pose法

准备

大都大同小异，具体摆pose方法我就不写了，多调调就能掌握的。
网址：
https://app.posemy.art/
https://webapp.magicposer.com/
https://www.anyposes.com/

参考图

摆好相机位置，清除背景，生成pose参考图。
在这里插入图片描述

分析调试

将图片放入controlnet，分析openpose，得到结构图（重要），深度图和边缘图看需要，注意权重、介入和退出的时机。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
越白越亮表示离观看者越近，本案例中右侧的人物更亮更白，这说明controlnet的深度图分析错了。

生图

本节参考图中的人物细节有重合的部分，因此将容易混淆的部分用文字描述来约束。
在这里插入图片描述

Generation Data：

modelshoot style, 2warrior, fall backward with arms outstretched, push down, Roman Colosseum, helmet, cloudy sky, 
Negative prompt:  easynegative
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

二、OPENPOSE自画法

准备

参考图

通过 OpenPose Editor 编辑一下人物形态。
在这里插入图片描述

分析调试

发送到 >>>文生图，并且配置参数

在这里插入图片描述

生图

随便写点适合的东西。
在这里插入图片描述

Generation Data：

modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, beautiful women, (1dancer:1.5),(2hands:1.5)
Negative prompt:  easynegative, canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 10

在这里插入图片描述

单纯使用本方法的话，目前没法产生深度图和边缘图。

3D进化

3D版的openpose，参考这篇文章进行操作：
AI绘图实战（十一）：将纸质儿童画修改为电子照片/3D Openpose插件使用 | Stable Diffusion成为设计师生产力工具

三、Blender三维建模方式

本方法可以提供深度图、结构图~~~

准备

参考图

用blender打开下载的模型，调整人物的姿势，如图：

在这里插入图片描述
调整分辨率

在这里插入图片描述

分别打勾depth、canny、pose后渲染图形就能得到controlnet所需的图片
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

出图方法如下：

  • 深度图
    如上图选中depth，渲染出深度图另存即可
    在这里插入图片描述

  • 边缘图
    选中canny后根据下图配置完compositing，再渲染保存就是canny图
    在这里插入图片描述
    在这里插入图片描述

  • 骨骼图
    取消canny图中所设置的反转颜色，否则出图不正确
    在这里插入图片描述

选中openpose后渲染图形

在这里插入图片描述

分析调试

将三张图分别导入controlnet中，参考方案一。

生图

写一下关键字生图。
在这里插入图片描述

在这里插入图片描述
stable diffusion似乎在这个机位角度对身形的分析并不好，这小粗腿。-_-!

四、常用图片识别法

准备

真人摆pose照一张

参考图

本文用安娜·谢尔巴科娃的照片~~
在这里插入图片描述

分析调试

controlnet分析绘制出边缘图、骨骼图和深度图。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

这种干净单一的画面，controlnet分析出的结果是比较准确的，所以如果真的用于生产制作，那么绿幕或干净的背景还是有一定必要的。

生图

在这里插入图片描述

figure skating, Style-Empire, 8k portrait of beautiful young woman, sports
Negative prompt: [lowres, cropped, watermark, jpeg artifacts, low quality, normal quality, bad anatomy, text error, worst quality]
Size: 1024x691, Seed: -1, Steps: 32, Sampler: DPM++ SDE Karras, CFG scale: 5,

在这里插入图片描述

在这里插入图片描述

如果降低controlnet的约束参数，很可能生图生出双人滑冰~~

在这里插入图片描述

简单易用，以后想作图自己做动作就行了。

五、PS修补法

这是针对图样出完以后的细节修改方法。

准备

  • 准备好PHOTOSHOP等图片编辑软件
  • 准备一张待修改的图片

在这里插入图片描述

  • 寻找一张手图
    在这里插入图片描述

参考图

  • 在photoshop中，将手放在合适的位置并且将色彩尽可能调一致，这涉及到phososhop的部分知识。

在这里插入图片描述

分析调试

生成参考图导入Stable Diffusion的 图生图>>>局部重绘

画笔涂抹需修改的对象（此处为手）后，配置参数（需多次调整）生图，直到满意为止。
其间可能除了修改主要对象外，对对象周围的部分也可能以涂抹方式修改。

请添加图片描述

生图

手的光影色彩协调了（其实错了），但细节丢失了。

在这里插入图片描述
像这种小修小改的，绘画专业的人员用传统方式改动可能更快更细腻更准确。

暂时先用这个名字
关注
专栏目录
Stable Diffusion WebUI 控制网络 ControlNet 插件实现精准控图-详细教程
水滴的博客
04-17 9664
ControlNet（控制网络）是一种先进的神经网络架构，它为基于扩散模型的 AI 绘画流程引入了精确的控制机制。通过整合额外的条件约束，ControlNet 显著增强了图像生成的可预测性和指导性。在 ControlNet 的辅助下，用户能够对生成的艺术作品进行细致入微的指导，实现对构图、色彩、风格等多维度因素的把控，从而满足各种复杂场景和个性化需求。这一技术为 AI 绘画领域带来了革命性的突破，使得 AI 绘画能够更好地满足用户的具体需求，成为一种真正的生产力工具。项目链接地址论文。
〔008〕Stable Diffusion 之 ControlNet 篇
国内某知名游戏公司小菜鸡工程师
06-06 1784
让AI绘画向生产力工具进步的神级工具
【Stable Diffusion】角色设计的福音！绘制一致性多角度头像（附模型训练器）
m0_58477260的博客
09-06 635
如何让我们在SD中绘制的角色保持一致，这是人们长久以来在探索AI绘画的领域当中一直寻求解决的问题。目前来看，实现这个目标最好的方法就是使用LoRA。
AI绘画Stable Diffusion ，3种方法精确控制人物姿势，总有一种适合你
A13531922961的博客
04-24 2118
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Stable Diffusion Unity 集成 v1.2.6：为你的 Unity 项目注入创意之魂
最新发布
gitblog_00876的博客
09-28 1002
Stable Diffusion Unity 集成 v1.2.6：为你的 Unity 项目注入创意之魂 Stable-Diffusion-Unity-Integration Stable-Diffusion-Unity-Integration ...
使用ControlNet控制Stable-Diffusion出图人物的姿势
叶青
05-04 3503
在Stable-Diffusion（以下简称SD）出图中，我们往往需要对出图人物的姿势进行控制，这里我使用一个比较简单上手的方法，通过ControlNet可以很方便地对画面风格，人物姿势进行控制，从而生成更加符合自己期望的图片。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 2728
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
Stable Diffusion让他摆出各种姿势
snailuncle2的博客
05-15 992
调教人物姿势
AI绘图，如何精确控制AI图片的人物形态，Stable Diffusion 教程
libaiup的博客
05-20 1166
有没有发现，用 Stable Diffusion 制作的AI图片时，想要对人物姿态进行精确控制是一件比较麻烦的事，虽然AI绘图生成的图片很精美，但随机性也比较大，那么如何对人物姿态进行控制呢？ 比如，如果我想得到人物的上半身或全身图片，需要在提示词中加上upper body （上半身）或 full body （全身）的提示词（效果见下图）。
[Stable diffusion]人物动作姿势提示词
Web_boom的博客
07-31 532
在AI绘画中，在提示词中如果不指定动作姿势，AI会随机做一些动作POS（基本都是比较固定的），在关键字中加入动作提示词，可以提升模特的构图美感，下面是几组常用的动作关键字。在AI绘画中，在提示词中如果不指定动作姿势，AI会随机做一些动作POS（基本都是比较固定的），在关键字中加入动作提示词，可以提升模特的构图美感，下面是几组常用的动作关键字。
Stable Diffusion web UI之ControlNet使用
Lassi的博客
06-19 2101
使用 Stable Diffusion 一段时间后，您可能已经注意到图像的输出具有无穷无尽的结果可能性。感觉是在赌这一下能不能拍出好图。然而，即使输入如此复杂和详尽的提示，您也会觉得您可以控制方向盘或控制 AI 的程度仍然有限​​。AI 能够以完全相同的方式适应提示或图像的程度会有限制。除了基本参数外，Stable Diffusion 还有很多控制和学习和掌握的空间。所有控件都具有重要作用，具体取决于您对最终结果的目标。
Stable Diffusion 多角度人设立绘生成
Mr数据杨
07-06 2792
通过对Stable Diffusion及ControlNet骨骼图功能的合理应用，角色立绘的生成流程得以极大优化，使插画师能够以较少的时间与精力获得高质量的输出。此方法不仅增强了多视角绘制的灵活性，还简化了整体设计流程。在此基础上，利用ADetailer等细节修复工具，创作者可以进一步完善图像中的人物面部和其他关键部位，为成品带来更真实与精细的表现力。这一创新性流程为角色设计注入了高效、灵活的可能性，为创作带来更便捷的表达方式。
Stable Diffusion绘画 | ControlNet 基本操作详解（二）
Leo-Fighting的博客
08-11 425
并不是所有模型都需要下载，有些模型含有3个版本，full 版本模型文件是最大的，效果最好，但占用最多的资源；ControlNet 模型下载：https://huggingface.co/lllyasviel/sd_control_collection/tree/main。数值越高，就越限制画面必须严格按照 ControlNet 的处理结果来生成图片，用于控制 ControlNet 对画面生成结果的约束程度。用于调整 ControlNet 控制松紧程度的。数值越低，AI 就有一定的自由度和发挥空间。
如何用AI绘画Stable Diffusion控制人物动作和姿势一致性？超强教程建议收藏！
A1353192296的博客
05-21 982
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
stable-diffusion 生成同一人物不同动作的尝试（基础动作
张伟的专栏
04-18 3124
目录开发游戏中，美术资源是一大块成本。而游戏中包含很多角色，每个角色需要表现出不同的动作，因此一直在研究的一个课题“是如何用AI去生成同一个角色的多种动作”，此前也尝试过不少方法，研究之路继续进行，以下是一些以前的研究连接。本次是尝试修改stable-diffusion的生成过程，使得模型可以记录一部分角色信息，从而为后续生成同个角色的其他动作的图像提供可能性。
AI绘画教程：Stable Diffusion中如何控制人像的姿势？
WANGJUNAIJIAO的博客
07-09 1078
在AI绘画中，有时候我们需要主角（人物或动物）摆出特定的姿势，该怎么做呢？ 第一种方法：以图生图
AI绘画 Stable Diffusion【进阶篇】：图片微调实现人物一致性，调整人物表情变化
白帽阿叁的博客
08-08 1138
随机数种子提供了创作的随机性及最大限度的还原性，通常我们生成图片时将随机数种子设置为-1，在多次抽签生成一张我们满意的图片时，我们可以将随机数种子设置为当前生成的图片的随机数种子，后续生成的图片都会参考这个种子进行生成。从上面可以看到，固定随机数种子，调整采样迭代步数，对图片的整体影响效果非常小，这个比较好好理解，因为采样迭代步数40步渲染出的图片是在原30步基础上进一步渲染而已，风格主题元素基本定型，效果并不是很明显，当然这个是建立在采样迭代步数在一定合理的范围内。
stable diffusion学习笔记 手部修复
师范大学生的博客
02-25 3910
某张图片在生成后，仅有手部表现不符合预期（多指，畸形等）。这种情况下我们通常使用【局部重绘】的方式对该图片的手部进行【图生图】操作，重新绘制手部区域。但是仅采用重绘的方式也很难保证生成的手没有问题。因此这里我们采用【contorlNet】进行辅助，定向生成某种手部的形状。
揭秘 Stable Diffusion：利用 AI 智能绘图功能，打造出具有创意性的平面设计作品——AI 作图神器 Stable Diffusion 有哪些强大功能？应用案例详解
热门推荐
AI天才研究院
06-12 3万+
在当今数字化时代，人工智能技术已经深入到我们的生活中的各个领域。其中，AI 智能绘图功能已经成为了许多设计师和创意工作者的必备工具。今天，我们将为大家揭秘一款备受关注的 AI 作图神器 Stable Diffusion，它具有哪些强大的功能和特点。Stable Diffusion 是一款基于开发的作图神器，具有许多强大的功能，包括：1.：Stable Diffusion 可以智能识别用户上传的图片，并自动调整图片质量和色彩，让图片更加清晰、饱满。
如何让Stable Diffusion正确画手（1）-通过embedding模型优化图片质量
程序员阿超的博客
07-11 2515
都说AI画手画不好手， 看这些是我用stable diffusion生成的图片，小姐姐都很漂亮，但手都千奇百怪，破坏了图片的美感。其实只需要一个提示词，就能生成正确的手部，看这是我重新生成的效果，每一个小姐姐都有了正确的手部。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值