炸裂!可提取,控制人物姿势,法线,深度信息等超强AI来了!

最近小伙伴们被AI画图给惊到了吧?小编看了几篇介绍文章,也大受震撼。比如,这种

图片

图片

AI真的也太了解人类审美了,这妹子画的也太吸睛了。本来也想借此机会蹭一波热度,但仔细想想我们“高大尚”的粉丝对这种图一直是嗤之以鼻的,所以还是忍住了,没推送。

但是,昨天朋友大半夜发来一张图,让我坐不住了。

图片

卧槽,这么说有了ControNet的加持,那些AI生成的二次元角色也好,还是上面的这种写实真人也好,都可以改变姿势,让他们动起来了!?

这也太快了吧?!那么,这个ControlNet到底是什么,又是什么工作原理咧?小编本着追本溯源的精神,一一去搜索了下。

ControlNet是2月10日由张吕敏和马内什·阿格瓦拉共同发表的一篇论文。几日后就发布了训练好的模型,目前在GitHub上可下载,短短几天迅速成为AI绘画的又一个热点,成长速度可谓相当快。

https://github.com/lllyasviel/ControlNet

图片

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。直白的来讲就是通过额外的输入内容控制预训练的大模型,一种端对端的训练,目前比较火的stable diffusion都是通过这种方式来实现的。

图片

但ControlNet的优势在于对于细节的控制能力。它把一些细节的输入关键词进行了单独的训练。这就好比你让AI画一幅画,stable diffusion只能给你画个大概,但ControlNet可能会更精细的考虑构图、线条,深度信息等等都能给你提供。目前根据GitHub上以公布的可控内容有几个方面。

边缘检测

图片

M-LSD直线检测

可以更改更改M-LSD阈值,这个功能对于建筑表现简直不要太实用。

图片

柔和的软边

图片

使用涂鸦

图片

深度信息控制

这个深度信息对于我们CG行业制作尤为重要,有了它可以加任意的景深等等效果。但这个深度信息与Stability的模型不同,ControlNet接收完整的512×512深度图,而不是64×64深度。这意味着ControlNet将在深度图中保留更多的细节。

图片

法线映射

这个对于CG建模来说简直不要太疯狂。

图片

语义分割

这个功能倒不是很新鲜,之前英伟达推出的GauGAN类似。但出现在这里,着实强大了ControlNet的功能。

图片

动画线条控件

为动画线条提取增加的一个功能。目前这个功能尚未添加,正在评估潜在的风险。

图片

可以说满足了目前我们绘制所需情况的大多数的场景需要,甚至满足了一定CG制作流程的需要。

但我们今天的重点不是这些,重点是它其中还有一个对于AI生成图像重要的功能:openpose姿势识别。

图片

它不但能生成单个角色的姿势,甚至可以生成多人的姿势,这是之前的所有文本输入型AI工具几乎无法达到的。

图片

目前已有人通过它做了一些改变AI角色姿势的尝试。

图片

利用stable diffusion生成角色,ControlNet改变视角

如果观察仔细的话,上面这张图里有很多的Bug,比如手关节是无法实现改变,当然了这是早期的一些测试图。根据最新消息,目前已经更新了手指关节姿势。

图片

此外,ControlNet可以从给定的一张图像中提取姿势,然后生成一堆姿势相似的图。

图片

更厉害的是,如果你没有现成的图像,手绘勾了出大致的造型也可以,这简直已经炸裂了。

所以,做CG的小伙伴可能立马会想到,今后的工作可能就变成了,在软件里拉一个人形骨骼,然后摆一个自己想要的姿势,然后,然后,然后剩下的工作就扔给AI直接出图了呀!!!!!!!!

图片

用姿势骨骼用AI直接生成角色姿势图

文章的最后,让我们回头再看看AI生成的那些美图吧,记住,以后这些都可以直接生成骨骼改变动作,做动画了!

图片

图片

图片

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]安全链接,放心点击

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

  • 24
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值