最近小伙伴们被AI画图给惊到了吧?小编看了几篇介绍文章,也大受震撼。比如,这种
AI真的也太了解人类审美了,这妹子画的也太吸睛了。本来也想借此机会蹭一波热度,但仔细想想我们“高大尚”的粉丝对这种图一直是嗤之以鼻的,所以还是忍住了,没推送。
但是,昨天朋友大半夜发来一张图,让我坐不住了。
卧槽,这么说有了ControNet的加持,那些AI生成的二次元角色也好,还是上面的这种写实真人也好,都可以改变姿势,让他们动起来了!?
这也太快了吧?!那么,这个ControlNet到底是什么,又是什么工作原理咧?小编本着追本溯源的精神,一一去搜索了下。
ControlNet是2月10日由张吕敏和马内什·阿格瓦拉共同发表的一篇论文。几日后就发布了训练好的模型,目前在GitHub上可下载,短短几天迅速成为AI绘画的又一个热点,成长速度可谓相当快。
https://github.com/lllyasviel/ControlNet
ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。直白的来讲就是通过额外的输入内容控制预训练的大模型,一种端对端的训练,目前比较火的stable diffusion都是通过这种方式来实现的。
但ControlNet的优势在于对于细节的控制能力。它把一些细节的输入关键词进行了单独的训练。这就好比你让AI画一幅画,stable diffusion只能给你画个大概,但ControlNet可能会更精细的考虑构图、线条,深度信息等等都能给你提供。目前根据GitHub上以公布的可控内容有几个方面。
边缘检测
M-LSD直线检测
可以更改更改M-LSD阈值,这个功能对于建筑表现简直不要太实用。
柔和的软边
使用涂鸦
深度信息控制
这个深度信息对于我们CG行业制作尤为重要,有了它可以加任意的景深等等效果。但这个深度信息与Stability的模型不同,ControlNet接收完整的512×512深度图,而不是64×64深度。这意味着ControlNet将在深度图中保留更多的细节。
法线映射
这个对于CG建模来说简直不要太疯狂。
语义分割
这个功能倒不是很新鲜,之前英伟达推出的GauGAN类似。但出现在这里,着实强大了ControlNet的功能。
动画线条控件
为动画线条提取增加的一个功能。目前这个功能尚未添加,正在评估潜在的风险。
可以说满足了目前我们绘制所需情况的大多数的场景需要,甚至满足了一定CG制作流程的需要。
但我们今天的重点不是这些,重点是它其中还有一个对于AI生成图像重要的功能:openpose姿势识别。
它不但能生成单个角色的姿势,甚至可以生成多人的姿势,这是之前的所有文本输入型AI工具几乎无法达到的。
目前已有人通过它做了一些改变AI角色姿势的尝试。
利用stable diffusion生成角色,ControlNet改变视角
如果观察仔细的话,上面这张图里有很多的Bug,比如手关节是无法实现改变,当然了这是早期的一些测试图。根据最新消息,目前已经更新了手指关节姿势。
此外,ControlNet可以从给定的一张图像中提取姿势,然后生成一堆姿势相似的图。
更厉害的是,如果你没有现成的图像,手绘勾了出大致的造型也可以,这简直已经炸裂了。
所以,做CG的小伙伴可能立马会想到,今后的工作可能就变成了,在软件里拉一个人形骨骼,然后摆一个自己想要的姿势,然后,然后,然后剩下的工作就扔给AI直接出图了呀!!!!!!!!
用姿势骨骼用AI直接生成角色姿势图
文章的最后,让我们回头再看看AI生成的那些美图吧,记住,以后这些都可以直接生成骨骼改变动作,做动画了!
关于AI绘画技术储备
学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!
👉[[CSDN大礼包:《StableDiffusion安装包&AI绘画入门学习资料》免费分享]](安全链接,放心点击)
对于0基础小白入门:
如果你是零基础小白,想快速入门AI绘画是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案
包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!
1.stable diffusion安装包 (全套教程文末领取哈)
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。
2.stable diffusion视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。
3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。
4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。
5.SD从0到落地实战演练
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
