今天分享一个「多模态」算法 NÜWA(女娲)。
![ecc961a932edc6e004f2f6e8c26d3da5.png](https://img-blog.csdnimg.cn/img_convert/ecc961a932edc6e004f2f6e8c26d3da5.png)
论文的开头,就放出了效果,NÜWA 包揽了 8 项经典的视觉生成任务的 SOTA。
论文表示,NÜWA 更是在文本到图像生成中“完虐” OpenAI DALL-E。
碾压各种对比的算法效果,杀疯了!
NÜWA 效果
我们先看下 NÜWA 这算法在 8 项经典的视觉生成任务中的表现。
Text-To-Image(T2I)
文字转图片任务,其实就是根据一段文字描述,生成对应描述的图片。
比如:
A dog with gogglesstaring at the camera.
一只戴着护目镜,盯着摄像机的狗。
![f0d8cf440e91a6db6853e25dd6c7c269.png](https://img-blog.csdnimg.cn/img_convert/f0d8cf440e91a6db6853e25dd6c7c269.png)
还有更多效果:
![59eb80e8e6d3bd52afa143c283e4541b.png](https://img-blog.csdnimg.cn/img_convert/59eb80e8e6d3bd52afa143c283e4541b.png)
NÜWA 生成的效果看起来就没那么违和,从论文的效果看,很真实!
![9afcf0034dd49ee9bb3a4f55e31303d4.png](https://img-blog.csdnimg.cn/img_convert/9afcf0034dd49ee9bb3a4f55e31303d4.png)
效果非常 Amazing。
Sketch-To-Image (S2I)
草图转图片任务,就是根据草图的布局,生成对应的图片。
![0b78bf1ac24bd5167d74f8a5fe473d14.png](https://img-blog.csdnimg.cn/img_convert/0b78bf1ac24bd5167d74f8a5fe473d14.png)
比如:
在一张图片上,画个大致轮廓,就可以自动“脑补”图片。
![de01efe45f81b31bdc960195bb1db4fd.png](https://img-blog.csdnimg.cn/img_convert/de01efe45f81b31bdc960195bb1db4fd.png)
这效果真是开了眼了,真实效果真如论文这般的话,那确实很强。
![de3dd4591b69f7137bb3cd5c63ce6025.png](https://img-blog.csdnimg.cn/img_convert/de3dd4591b69f7137bb3cd5c63ce6025.png)
这个算法,可以用在很多有意思的场景。
Image Completion (I2I)
图像补全,如果一副图片残缺了,算法可以自动“脑补”出残缺的部分。
![a39b6bdc4436565b96c17c1e10308572.png](https://img-blog.csdnimg.cn/img_convert/a39b6bdc4436565b96c17c1e10308572.png)
好家伙,是不是又有一些大胆的想法了?
![7191e1fbf0bd4d77a6ace4be32c324f3.png](https://img-blog.csdnimg.cn/img_convert/7191e1fbf0bd4d77a6ace4be32c324f3.png)
这个遮挡还算可以,还有更细碎的。
![8d37a2184b0a02ec37b12f287e8241b3.png](https://img-blog.csdnimg.cn/img_convert/8d37a2184b0a02ec37b12f287e8241b3.png)
图片碎成这样,还能“脑补”出画面,我很期待代码。
Image Manipulation (TI2I)
图片处理,根据文字描述,处理图片。
比如:
有一副草原的图片,然后增加一段描述:
a horse is running on the grassland
一匹马奔跑在草原上,然后就可以生成对应的图片。
![9167f515c19c71e0f9940c3c4aeace19.png](https://img-blog.csdnimg.cn/img_convert/9167f515c19c71e0f9940c3c4aeace19.png)
这惊人的理解力。
![ed2b0930ed8abaf687973a9d8c92caf2.png](https://img-blog.csdnimg.cn/img_convert/ed2b0930ed8abaf687973a9d8c92caf2.png)
这让我想起来了 P 图吧大神,恶搞的作品。
![03ac9d1d2768ee462d5ef62b23190238.png](https://img-blog.csdnimg.cn/img_convert/03ac9d1d2768ee462d5ef62b23190238.png)
有了这个算法,咱也可以试一试了,哈哈。
Video
这还不算完,除了上述的生成图片的四种效果,NÜWA 还可以生成视频!
![8d8808a7d8b88b33a0167aa48ea02ead.png](https://img-blog.csdnimg.cn/img_convert/8d8808a7d8b88b33a0167aa48ea02ead.png)
对应的四种视频生成任务:
Text-To-Video (T2V)
Sketch-To-Video (S2V)
Sketch-To-Video (S2V)
Video Manipulation (TV2V)
既可以玩图片又可以玩视频。
NÜWA 原理
NÜWA模型的整体架构包含一个支持多种条件的 adaptive 编码器和一个预训练的解码器,能够同时使图像和视频的信息。
对于图像补全、视频预测、图像处理和视频处理任务,将输入的部分图像或视频直接送入解码器即可。
![ae4753efdf4fd7ca278e4c1babc83ee9.png](https://img-blog.csdnimg.cn/img_convert/ae4753efdf4fd7ca278e4c1babc83ee9.png)
而编码解码器都是基于一个3D Nearby的自注意力机制(3DNA)建立的,该机制可以同时考虑空间和时间轴的上局部特性,定义如下:
![b48602c96db02854253594285ec7b63b.png](https://img-blog.csdnimg.cn/img_convert/b48602c96db02854253594285ec7b63b.png)
W 表示可学习的权重,X 和 C 分别代表文本、图像、视频数据的 3D 表示。
3DNA 考虑了完整的邻近信息,并为每个 token 动态生成三维邻近注意块。注意力矩阵还显示出 3DNA 的关注部分(蓝色)比三维块稀疏注意力和三维轴稀疏注意力更平滑。
![0fa01349dc2577ad19c3bdebd3c03954.png](https://img-blog.csdnimg.cn/img_convert/0fa01349dc2577ad19c3bdebd3c03954.png)
更多细节,可以直接看论文:
论文地址:
https://arxiv.org/abs/2111.12417
NÜWA 代码
NÜWA 的代码还没有开源,不过 Github 已经建立。
Github:
https://github.com/microsoft/NUWA
作者表示,很快就会开源:
![c875dd9f73aec28f4233bde471f599a8.png](https://img-blog.csdnimg.cn/img_convert/c875dd9f73aec28f4233bde471f599a8.png)
公司有开源审批流程,代码也得梳理下,所以可以先 Star 上标记下,耐心等等。
微软亚研院和北大联合打造的一个多模态预训练模型 NÜWA,在首届微软峰会上亮相过。
这种应该不会鸽的~
总结
今年算是多模态 Transformer 大力发展的一年,从各种顶会的论文就能看出,各种多模态。
另外送一份算法进击指南给大家:70K Star 的《labuladong 的算法小抄》(作者 labuladong)。
先来给你们看看里面具体都有哪些内容:
现在这本 PDF 免费分享给你,你可以扫描下方公众号回复 算法
来领取这本 PDF。
点击👆👆👆卡片,关注后回复【算法】,即可获取
推荐阅读:
入门: 最全的零基础学Python的问题 | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 | 从万众期待到口碑扑街!唐探3令人失望 | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!| 再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|
年度爆款文案
点阅读原文,看200个Python案例!