原文:AI绘画超强功能ControlNet之OpenPose骨架姿势控制篇 - 知乎
今天给大家带来的是Controlnet使用篇之Openpose篇教程。
Openpose就是传说中那个可以指定人物姿势动作的神奇控件。
在此之前,如果要指定人物姿势动作,基本上需要在prompt提示词写很详细,或者用图生图加上详细的prompt才能小概率生成满意的姿势。
而如果是一些稍微复杂一些的动作,几乎只能开盲盒了,很难控制,效率特别低。
而现在,只要用contolnet,就能精确控制人物姿势了,可以说,AI绘图可控性又前进了一大步。
(controlnet文档示例图)
那么,怎么使用呢?
一.
1.首先,你需要已经安装stable diffusion webui程序,ControlNet插件,下载好了Openpose模型。
2.打开stable-diffusion-webui。
3.找一张人体姿势比较复杂的图
正脸上半身美女我们已经见太多了,姿势动作非常单一,看多了就审美疲劳了。
我网上随便找一张相对少见点的姿势,考考controlnet的效果。
比如这张。
(来源:昵图网)
4.稍微裁剪一下,让人物更大一点。
5.把图片放进controlnet,Enable打开,预处理器选择openpose,引导模型选择openpose,然后点击Preview annotator result按钮,生成预处理预览图。
6.看预览的骨架图,识别还算精确。
(找的图最好是真人,不要动漫,识别会准一点。如果识别出来的动作不对,则要换图,或者用openpose插件手动调整骨架的节点。文章后半部分有样例。)
7.接下来,准备要生成图片了。
基础模型选动漫类模型。
(这里建议选择漫画类模型,真人模型感觉姿势库可能少一些,效果不是很好)。
Prompt提示词我就写“girl,dump”(女孩,跳跃)。
8.然后点击generate生成按钮。
(结果图)
可以看出来,虽然一些细节还是表现不太好,比如手部,脚掌鞋子等。但姿势还是比较还原的,已经算是很强了。
(如果要优化局部的话,可以用inpaint功能重绘一下,或者自己用PS调整一下细节。)
就一张图没啥说服力,我们接着再来随便找一张图试试。
二.
换个方向,还是跳跃。
(摄图网)
1.还是导入图片,选择预处理器 openpose,模型openpose。调节一下画布长宽,保持与原图比例一致。点击preview。
2.发现预处理图没啥问题,于是输入prompt,还是写girl,dump。
3.生成,看看效果。
(结果图)
嗯,发现也还好,姿势基本到位了。
细节一般般。如果要提升细节可以在prompt里面加一些质感相关的图,比如detailed,masterpiece,wallpaper之类。然后增大处理步数steps之类。
今天主要玩controlnet的openpose,就不展开讲了。
三.
接下来,我们再来玩一下openpose插件。上次让大家下载openpose,终于派上用场了。
1.首先,我们去网上随便找一张图,比如坤坤的鸡你太美。
(bilibili.com/video/BV1J4411v7g6 鸡你太美原版视频,随便截了一个图)
((画外音)IKUN震怒:小黑子,你终于露出鸡脚了!)
我摊手:咱不是小黑子也不是IKUN,只是学术研究,不要激动哈。
2.接下来我们继续,会发现,这图小腿部分不完整,没关系,先上传到openpose。
3.点击openpose editor页面,点击detect from image,发现已经自动识别骨架图了(没有这个选项框的证明你这个插件安装不成功,看看历史教程检查确认一下)
发现识别的骨架图有点不对,坤坤的左腿小腿需要调整下,另外右大长腿需要延长一点。
4.于是用ps之类的工具,把截图拉长一点,再点击reset,并点击detect from image把拉长后的截图上传到openpose editor,同时调整一下相关骨骼节点,来还原正确的人物姿势。
5.调整结束后,点击save png来保存骨架图。
6.接着,把刚刚保存的骨架图上传到controlnet,预处理器选none,引导模型选openpose,调整一下画布长宽,使之与原图比例一致。
7.接着prompt部分,我就写 girl,dance。点generate看看结果。
(结果图)
嗯,姿势动作倒是符合的,还很有气质,不赖呀。
四.
那么,我有一个大胆的想法,是不是可以生成一首完整的鸡你太美?
查了一下,果然已经有人这样做了,笑死。
(来源:[AI动画] 鸡你太美 但是AI KUN 作者:AI变变变,B站截图)
另外,openpose editor除了可以自己上传图片后调整骨架,也可以直接添加初始骨架,然后手动调整成想要的姿势动作。
调好之后,保存骨架图,放在control net插件里,就能生成自己想要的姿势啦。
如果要生成多人图片,也是从openpoce插件里面,生成多个骨架然后调整姿势。原理是一样的。就不一一演示了。
(图:TomLikesRobots,twitter)
好啦,今天的教程先到这里,咱们明天见,下课~
注:
Controlnet插件对显卡性能要求较高,除了需要加载ckpt基础模型,还要加载controlnet预处理模型,和引导模型,建议显卡6G以上显存。
Controlnet使用时会经常爆显卡,显示显存不足,尤其是显存较小的同学。
显示显存不足时就不会有引导效果,所以你会感觉controlnet没用,不像。
解决办法是可以勾选low VRAM选项,同时有时候可能要重启webui以便释放显存。还有一种处理办法就是降低画布canvas和生成图片的长宽。以节省显存,避免报错。
AI绘画相关问题都可以私我解决,点付费咨询也行。
注:本文含AI创作内容。
历史文章链接:AI绘画相关文章合集0314