炸裂！可提取，控制人物姿势，法线，深度信息等超强AI来了！

本文链接：https://blog.csdn.net/m0_59162559/article/details/144186719

最近小伙伴们被AI画图给惊到了吧？小编看了几篇介绍文章，也大受震撼。比如，这种

AI真的也太了解人类审美了，这妹子画的也太吸睛了。本来也想借此机会蹭一波热度，但仔细想想我们“高大尚”的粉丝对这种图一直是嗤之以鼻的，所以还是忍住了，没推送。

但是，昨天朋友大半夜发来一张图，让我坐不住了。

卧槽，这么说有了ControNet的加持，那些AI生成的二次元角色也好，还是上面的这种写实真人也好，都可以改变姿势，让他们动起来了！？

这也太快了吧？！那么，这个ControlNet到底是什么，又是什么工作原理咧？小编本着追本溯源的精神，一一去搜索了下。

ControlNet是2月10日由张吕敏和马内什·阿格瓦拉共同发表的一篇论文。几日后就发布了训练好的模型，目前在GitHub上可下载，短短几天迅速成为AI绘画的又一个热点，成长速度可谓相当快。

https://github.com/lllyasviel/ControlNet

ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。直白的来讲就是通过额外的输入内容控制预训练的大模型，一种端对端的训练，目前比较火的stable
diffusion都是通过这种方式来实现的。

但ControlNet的优势在于对于细节的控制能力。它把一些细节的输入关键词进行了单独的训练。这就好比你让AI画一幅画，stable
diffusion只能给你画个大概，但ControlNet可能会更精细的考虑构图、线条，深度信息等等都能给你提供。目前根据GitHub上以公布的可控内容有几个方面。

边缘检测

M-LSD直线检测

可以更改更改M-LSD阈值，这个功能对于建筑表现简直不要太实用。

柔和的软边

使用涂鸦

深度信息控制

这个深度信息对于我们CG行业制作尤为重要，有了它可以加任意的景深等等效果。但这个深度信息与Stability的模型不同，ControlNet接收完整的512×512深度图，而不是64×64深度。这意味着ControlNet将在深度图中保留更多的细节。

法线映射

这个对于CG建模来说简直不要太疯狂。

语义分割

这个功能倒不是很新鲜，之前英伟达推出的GauGAN类似。但出现在这里，着实强大了ControlNet的功能。

动画线条控件

为动画线条提取增加的一个功能。目前这个功能尚未添加，正在评估潜在的风险。

可以说满足了目前我们绘制所需情况的大多数的场景需要，甚至满足了一定CG制作流程的需要。

但我们今天的重点不是这些，重点是它其中还有一个对于AI生成图像重要的功能：openpose姿势识别。

它不但能生成单个角色的姿势，甚至可以生成多人的姿势，这是之前的所有文本输入型AI工具几乎无法达到的。

目前已有人通过它做了一些改变AI角色姿势的尝试。

利用stable diffusion生成角色，ControlNet改变视角

如果观察仔细的话，上面这张图里有很多的Bug，比如手关节是无法实现改变，当然了这是早期的一些测试图。根据最新消息，目前已经更新了手指关节姿势。

此外，ControlNet可以从给定的一张图像中提取姿势，然后生成一堆姿势相似的图。

更厉害的是，如果你没有现成的图像，手绘勾了出大致的造型也可以，这简直已经炸裂了。

所以，做CG的小伙伴可能立马会想到，今后的工作可能就变成了，在软件里拉一个人形骨骼，然后摆一个自己想要的姿势，然后，然后，然后剩下的工作就扔给AI直接出图了呀！！！！！！！！

用姿势骨骼用AI直接生成角色姿势图

文章的最后，让我们回头再看看AI生成的那些美图吧，记住，以后这些都可以直接生成骨骼改变动作，做动画了！

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。