AI画画模型超强buff来了，手部细节&动作深度均可控，华人小哥出品丨GitHub 4.6k星

给画画AI加个buff，画起图像就像开了挂。

加个人体骨骼绑定buff，Stable Diffusion直接快进到生成3D 动漫：

加个抽象到爆的草图buff，AI变着风格生成“完全一致”的狗子：

就连号称“AI杀手”的手部细节，也能在控制之下画得惟妙惟肖：

这个名叫ControlNet的新AI插件，可以说是给画画AI来了最后的“临门一脚”——

原本AI无法控制的手部细节、整体架构，有了它之后，加上Stable Diffusion这样的扩散模型，足以生成任何人们想要的图像。

发出不到两天，ControlNet就在GitHub上火了，目前已经狂揽4.6k星：

△“让我们控制扩散模型”

各种效果图更是在推特上爆火，试玩过的网友直呼：

游戏结束！

所以，这个ControlNet究竟给扩散模型加了什么buff？

给AI画画模型加buff

ControlNet的原理，本质上是给预训练扩散模型增加一个额外的输入，控制它生成的细节。

这里可以是各种类型的输入，作者给出来的有8种，包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。

那么，让大模型学会“按输入条件生成图片”的原理是什么呢？

ControlNet整体思路和架构分工如下：

具体来说，ControlNet先复制一遍扩散模型的权重，得到一个“可训练副本”（trainable copy）。

相比之下，原扩散模型经过几十亿张图片的预训练，因此参数是被“锁定”的。而这个“可训练副本”只需要在特定任务的小数据集上训练，就能学会条件控制。

据作者表示，即使数据量很少（不超过5万张图片），模型经过训练后条件控制生成的效果也很好。

“锁定模型”和“可训练副本”通过一个1×1的卷积层连接，名叫“0卷积层”。

0卷积层的权重和偏置初始化为0，这样在训练时速度会非常快，接近微调扩散模型的速度，甚至在个人设备上训练也可以。

例如一块英伟达RTX 3090TI，用20万张图像数据训练的话只需要不到一个星期：

作者基于当前大火的Stable Diffusion进行了具体实现，主要架构如下：

针对不同的输入，作者也给出了对应不同的模型，生成效果也都不错。

例如这是采用Canny边缘检测算法检测出的边缘，用于生成图像：

这是基于霍夫变换的直线检测算法生成的直线草图，用于生成各种风格的室内设计：

当然，自己作画也可以，例如这是基于用户草图生成的小龟：

提取深度图，并让AI生成一幅相似的图像，直接举一反五：

语义分割下的游泳池图像，不仅水里有倒影细节，建筑也变化多样：

不过目前来看，最受欢迎的还是基于人体姿态估计算法，控制动漫人物的动作生成：

看到这里，是不是已经有了大胆的想法？（手动狗头）

曾开发爆火AI上色插件

这个项目的作者Lvmin Zhang，2021年本科毕业于东吴大学，目前在斯坦福大学读博。

他最出名的项目之一，是2017年开发的AI上色插件style2paints，目前GitHub上已经有15.9k星。

style2paints也经过了好几次迭代，目前即将更新到第五版。

这是第四版的效果，只需要线稿，AI就能自动给你的图像完成上色：

除了这个项目以外，他也是CV顶会的常客了。

One More Thing

值得一提的是，现在已经有基于ControlNet的国内产品上线了。

这个产品名叫稿定AI，包含照片转插画、插画线稿上色、插画优化翻新等功能，正是基于ControlNet打造。

作画效果大概是酱婶的：

感兴趣的小伙伴们可以去试玩一波了~

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

👉[[CSDN大礼包：《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]（安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】