AI绘画Controlnet精准控制手势,保姆级教程Stable diffusion

如下的灾难名场面是否似曾相识?

img

手指数量不对

有时候模型选对了,标签tags也很准确,但是生成出来的人物手势特别鸡肋,因为现在的AI算法并不能很好的处理手势动作,所以这篇文章应运而生,手把手教你打造相对好看而且可控的手部姿势和人体姿势控制,陷入AI的自由发挥空间!

首先你得安装了Stable diffusion的工作软件

这个现在网上已经很多版本,各种视频安装教程,推荐你们去那个很出名的某站搜秋叶大神即可,安装过几个版本,秋叶大神的一键启动版本,综合很多插件例如ControlNet,不需要额外翻墙安装,非常方便。

在Stable diffusion安装两个相关插件

假设你的Stable diffusion已经正常安装完成,接下来打开你的Stable diffusion页面,观察是否有OpenPose编辑器(OpenPose editor)和深度图编辑器(depth library)

img

1.OpenPose编辑器(OpenPose editor)安装方法也很简单:找到页面最右侧菜单的扩展(extends),然后选择可用,点击加载自按钮,过一会下面就会出现一堆可以安装的插件列表

img

列表一直往下翻,直到找到一个叫OpenPose编辑器(OpenPose editor)的玩意,点击右侧安装按钮即可,等待几分钟重启。

img

2.深度图编辑器(depth library)安装方法:也是找到页面最右侧菜单的扩展(extends),然后选择第三个选项从网址安装,输入如下网址: https://github.com/jexom/sd-webui-depth-lib.git,注意你要确保网络能够访问即可。安装这个也是很快的,安装好后,再次重启就能看到对应的菜单啦!

img

PS:打开深度图编辑器页面,需要设置两个地方,增加controlNet的数量为2和启用基于CFG的引导勾选打开:

img

第一步,生成你的专属动作图片

打开OpenPose编辑器页面,设置好的你图片的规则大小,通过右侧的人物骨架图,拖拽图中的骨点来实现你要求的动作效果,以下以我们游客照的双 V pose 举例:先让两边手往两边上面抬起,其它默认站立姿势。

img

生成你满意的效果图后,点击下面的保存为PNG图片即可。

第二步,生成你的专属手势图片

先打开深度图编辑器页面,添加好刚才保存的动作图片,切记这里面的宽度高度都要保持一直,我这里都是用512*768进行设置。

img

在左侧页面会有很多常规和不常规的手部动作参考,直接选你想要的选中点击添加即可,然后在右侧拖动你添加的手势缩放到适合的大小和位置:

img
当你制作另一边手的时候,同样的动作只有一边的方向,这时候不要慌,也是同样的步骤添加如上的手部动作进来,然后拖动手动动作的右下角的锚点向相反方向拖动,就会出现另一边的手指镜像,也就相当于把右手给弄出来了,然后拖动到预先设计好的位置。

img

当你选好你的手势调整完毕后,点击右下角的添加到controNet即可:

img

设置ControlNet的对应模型

这时候回到文生图页面,就会看到对应下面的ControlNet菜单下的第一个Control Model-0出现了我们的手部动作图片,如下设置好对应的参数**:启动、权重0.5,大小保持一致**。

img

然后打开第二个Control Model-1,点击添加之前的动作背景图片进来,也设置好对应的参数**:启动、权重0.5,大小保持一致**。

img

完成好以上步骤,那么就可以开始愉快的生成你的女神动作图片啦!

看一些AI的效果图

整体上都能出到符合动作设定的图片,虽有偶尔也会产生自我意识!

img

img

上面的作品只是参考,接下来就是看各自的学习和自我发挥,期待你们的大作!

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]安全链接,放心点击

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

### 实现 Stable Diffusion 更精确控制的方法 #### 控制网络 (ControlNet) 的作用 为了在图像生成过程中实现更精细的控制,可以利用 **ControlNet** 插件。该插件允许用户通过额外的条件输入(如草图、边缘检测结果或其他形式的引导图)来指导生成过程[^2]。具体来说,ControlNet 提供了一种机制,使得生成的图像能够遵循特定的结构或样式。 #### 安装 ControlNet 插件 大多数 Stable Diffusion WebUI 集成包已经内置了 ControlNet 插件。如果没有预先安装,则可以通过官方文档中的方法进行动配置[^3]。通常情况下,这涉及克隆仓库并下载对应的模型文件。 #### 使用 ControlNet 进行精准控制 一旦成功安装了 ControlNet 插件,就可以按照以下方式使用它来进行更加细致化的图像生成: - **选择合适的预处理模型**:ControlNet 支持多种类型的预处理器,每一种都适用于不同的应用场景。例如,Canny 边缘检测器适合用于线条画风格转换;Depth 模型则可以帮助创建具有立体感的效果。 - **调整参数以优化输出** - **提示词权重调节**:对于复杂的场景描述,可能需要对某些关键词赋予更高的重要性。此时可采用 `:` 符号指定其影响力度,范围建议保持在 0.5 到 1.5 之内[^4]。 ```plaintext a detailed landscape with mountains:1.2, waterfalls:1.3 ``` - **重绘强度设定**:当基于已有图片重新创作时,“重绘强度”决定了新内容覆盖原始素材的程度。数值越高意味着越激进的变化,默认值为 0.75,可根据需求灵活修改[^5]。 #### 示例代码片段展示如何调用 ControlNet 功能 以下是 Python 脚本的一个简化版本,演示了加载必要组件以及运行推理的过程: ```python from diffusers import StableDiffusionControlNetPipeline, ControlNetModel import torch controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16) pipe = StableDiffusionControlNetPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", controlnet=controlnet, safety_checker=None, torch_dtype=torch.float16 ) image = pipe(prompt="a fantasy forest with magical creatures").images[0] image.save("output.png") ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值