Diffusion惊艳应用大赏

文｜白鹡鸰

自从Diffusion模型兴起之后，AI绘画圈又迎来了一波猪突猛进式的强化，早几年还只是Ins的二次元/迪士尼风格滤镜，让人穿上不同服装当接头霸王。现在，你随便输几句话，模型就能刷刷刷给你吐出一大堆精美的图来，画的比你好，风格多样化，还两分钟就交稿。

▲NovelAI画的星球与城市 [1]

虽然用AI搞艺术已经进入了全民应用的时代，但很多人对这个强大的工具的使用方式却让我不由感叹想象力的匮乏。想想吧！我当着妈妈的面打开小蓝鸟搜索这期推送的素材，结果齐刷刷跳出了一大排雪白的胸脯！我妈看我的眼神当场就不对了！！！

那么，今天我们就来看看Diffusion模型还有哪些好玩实用的应用，一起欣赏下吧！

本期内容参考@daniel_eckler。

游戏/动画制作

三维动作生成

模型名为MDM, Human Motion Diffusion Model [2]，只要输入语言描述，就能让三维小人模型做出对应的动作，生成结果具有多样性，每个小人会有一定的动作差异。从demo可以看出，目前动作已经非常生动流畅了。

▲MDM基于描述生成三维动作效果展示

建模贴图

dream-textures，基于Stable Diffusion实现的开源项目，可以自动生成纹理，给模型贴图，可以作为Blender插件部署 [3]。

▲dream-textures贴图效果展示[4]

MineCraft转绘画

另一项基于Stable Diffusion实现的工作，目前未开源，但它的效果展示引发了我无限的遐想 [5]。如果MineCraft转现实风格的图片效果这么好，《三体》动画的开发是不是可以基于《我的三体》加快进程了？

▲DiffusionCraft效果展示

增强现实与虚拟现实

虚空画图

Diffusion模型和GravitySketch的结合，原本GravitySketch的绘制效果非常简陋，但加上diffusion模型之后，图像生动了不止一点两点 [6]。

▲加上Diffusion后GravitySketch绘画效果比较

室内环境生成

还是基于Stable Diffusion的开源项目 [7]，能通过VR眼镜“扭曲”你周围的环境并基于一些参考图片进行再生成。老实说总体效果还是有些掉SAN，不过前途无量啊，想想以后在家里，带上VR瞬间变成凡尔赛宫，这不是很爽？

▲Deforum Stable Diffusion效果展示

最佳应用

在大部分人还在用Diffusion捏脸、造原创角色、沉迷美色的时候，有些人的格局已经打开了。直接靠着目前为止漫威的动画、电影素材，把《蜘蛛侠·平行宇宙2》的预告片给造出来了。看到这个整活的时候我内心的震撼程度更甚于当年看到Jack Frost和Elsa、林黛玉和伏地魔的拉郎MV [8]。

结语

Diffusion模型的使用姿势目前为止还没有被完全开发，它的潜力很大程度上取决于人类想象力能有多么精彩。所以说，还请大家整活的时候含蓄一点，免得下次我又被逮个现行，百口莫辩跳进黄河洗不清了！

最后是题图里承诺的爆照时间——

没错，网络上，没有人知道小爷是一只电子鸟（图片由HuggingFace-Stable Diffusion生成 [9]）。

卖萌屋作者：白鹡鸰

白鹡鸰（jí líng）是一种候鸟，浪形的飞翔轨迹使白鹡鸰在卖萌屋中时隐时现。已在上海交大栖息四年，进入了名为博士的换毛期。目前蹲在了驾驶决策的窝里一动不动，争取早日孵出几篇能对领域有贡献的论文～

知乎ID也是白鹡鸰，欢迎造访。

作品推荐：

1. NLP太卷，我去研究蛋白质了~

2. 谷歌40人发表59页长文：为何真实场景中ML模型表现不好？

3. 学术&工业界大佬联合打造：ML产品落地流程指南

4. 两个月，刷了八千篇Arxiv，我发现……

后台回复关键词【入群】

加入卖萌屋NLP、CV、搜推广与求职讨论群

 

[1] @Kemono_VR

[2]https://guytevet.github.io/mdm-page/

[3]https://github.com/carson-katri/dream-textures/tree/0.0.5

[4]@Kdawg5000

[5]https://www.youtube.com/watch?v=ThnAnva2RPY

[6]@ThoseSixFaces

[7]https://github.com/deforum-art/deforum-stable-diffusion

[8]@CorridorDigital

[9]https://huggingface.co/spaces/stabilityai/stable-diffusion