四少女火爆外网，AI杀疯了！

转自：量子位 ｜ 金磊

四位美少女，带着AI画画在ChatGPT的热浪中杀出了一片天地。

新“魔法”一出，瞬间吸引全场目光：

原本是一张四个闺蜜在沙滩边上的普通合影照：

在新魔法的加持下，“啪的一下”画风两极反转，瞬间进入唯美动漫风：

还有效果截然不同的，例如这样：

这个效果就是使用 Stable Diffusion 和 ControlNet 实现的。

ControlNet 是刚开源的算法，有人将其集成到了 SD 里，以插件的形式使用。

插件的具体使用方法，可以参考这篇文章，写得很详细了：

AI又进化了，突破性革命来了！

已经有不少小伙伴表示非常 nice。

当然，ControlNet的“神通”可不仅于此。

例如微博博主“海辛Hyacinth”便分享了他用ControlNet插件后“草图变美女”的玩法。

他先是找了一张线稿：

然后是开启了ControlNet的scribble模细化效果，便得到了这样的结果：

效果之逼真，也是令人叹服了。

“海辛Hyacinth”还测试了在同一seed下不同参数的效果：

有小伙伴就要问了，那如果关闭了ControlNet，效果会如何？别急，博主也做了测试，效果是这样的：

“海辛Hyacinth”的这波操作也是得到了ControlNet作者的认可：

当然，ControlNet还可以实现其它诸多的功能，例如在装修设计上，可以输入一张拍好的卧室图，分分钟输出草图和换了风格的效果图：

以及在ControlNet的在线网站中，也提供了许多不同功能玩法体验，感兴趣的小伙伴可以去尝试哦：

最后，再简述下 ControlNet 的原理。

ControlNet 本质上是给预训练扩散模型增加一个额外的输入，控制它生成的细节。

这里可以是各种类型的输入，作者给出来的有8种，包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。

那么，让大模型学会“按输入条件生成图片”的原理是什么呢？

ControlNet整体思路和架构分工如下：

具体来说，ControlNet先复制一遍扩散模型的权重，得到一个“可训练副本”（trainable copy）。

相比之下，原扩散模型经过几十亿张图片的预训练，因此参数是被“锁定”的。而这个“可训练副本”只需要在特定任务的小数据集上训练，就能学会条件控制。

据作者表示，即使数据量很少（不超过5万张图片），模型经过训练后条件控制生成的效果也很好。

“锁定模型”和“可训练副本”通过一个1×1的卷积层连接，名叫“0卷积层”。

0卷积层的权重和偏置初始化为0，这样在训练时速度会非常快，接近微调扩散模型的速度，甚至在个人设备上训练也可以。

例如一块英伟达RTX 3090TI，用20万张图像数据训练的话只需要不到一个星期：

作者基于当前大火的Stable Diffusion进行了具体实现，主要架构如下：

针对不同的输入，作者也给出了对应不同的模型，生成效果也都不错。

具体效果，就如我们刚才所展示的那样了。

One More Thing

最后来一个温馨提示……男同胞们不要觉得2月14日这个情人节过完就安全了图片。

接下来还可能有白色情人节（3月14日）、黑色情人节（4月14日）、玫瑰情人节（5月14日）、亲亲情人节（6月14日）……

赶紧把这套“AI组合拳”学起来，送自己的老婆/女朋友一张唯美的礼物吧！

·················END·················

推荐阅读

•   全新的Bing浏览器 ，教你如何快速申请？•   离谱！入职比亚迪一个月，我真是开眼了•   中国版 ChatGPT ：MOSS ，被网友挤崩了 ！