这个算法，可以用在很多有意思的场景。
Image Completion (I2I)
图像补全，如果一副图片残缺了，算法可以自动“脑补”出残缺的部分。
好家伙，是不是又有一些大胆的想法了？
这个遮挡还算可以，还有更细碎的。
图片碎成这样，还能“脑补”出画面，我很期待代码。
Image Manipulation (TI2I)
图片处理，根据文字描述，处理图片。
比如：
有一副草原的图片，然后增加一段描述：
a horse is running on the grassland
一匹马奔跑在草原上，然后就可以生成对应的图片。
这惊人的理解力。
这让我想起来了 P 图吧大神，恶搞的作品。
有了这个算法，咱也可以试一试了，哈哈。
Video
这还不算完，除了上述的生成图片的四种效果，NÜWA 还可以生成视频！
对应的四种视频生成任务：
-
Text-To-Video (T2V)
-
Sketch-To-Video (S2V)
-
Sketch-To-Video (S2V)
-
Video Manipulation (TV2V)
既可以玩图片又可以玩视频。
NÜWA 原理
NÜWA模型的整体架构包含一个支持多种条件的 adaptive 编码器和一个预训练的解码器，能够同时使图像和视频的信息。
对于图像补全、视频预测、图像处理和视频处理任务，将输入的部分图像或视频直接送入解码器即可。
而编码解码器都是基于一个3D Nearby的自注意力机制（3DNA）建立的，该机制可以同时考虑空间和时间轴的上局部特性，定义如下：
W 表示可学习的权重，X 和 C 分别代表文本、图像、视频数据的 3D 表示。
3DNA 考虑了完整的邻近信息，并为每个 token 动态生成三维邻近注意块。注意力矩阵还显示出 3DNA 的关注部分（蓝色）比三维块稀疏注意力和三维轴稀疏注意力更平滑。
更多细节，可以直接看论文：
论文地址：
https://arxiv.org/abs/2111.12417
NÜWA 代码
NÜWA 的代码还没有开源，不过 Github 已经建立。
Github:
https://github.com/microsoft/NUWA
作者表示，很快就会开源：
公司有开源审批流程，代码也得梳理下，所以可以先 Star 上标记下，耐心等等。
微软亚研院和北大联合打造的一个多模态预训练模型 NÜWA，在首届微软峰会上亮相过。
这种应该不会鸽的~
总结
–
今年算是多模态 Transformer 大力发展的一年，从各种顶会的论文就能看出，各种多模态。
另外送一份算法进击指南给大家：70K Star 的《labuladong 的算法小抄》（作者 labuladong）。
先来给你们看看里面具体都有哪些内容：
现在这本 PDF 免费分享给你，你可以扫描下方公众号回复 算法 来领取这本 PDF。
点击👆👆👆卡片，关注后回复【算法】，即可获取****
推荐阅读:
入门: 最全的零基础学Python的问题 | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评，电影《后来的我们》 | 38年NBA最佳球员分析 | 从万众期待到口碑扑街！唐探3令人失望 | 笑看新倚天屠龙记 | 灯谜答题王 ｜用Python做个海量小姐姐素描图 ｜碟中谍这么火，我用机器学习做个迷你推荐系统电影
趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火，我用机器学习做个迷你推荐系统电影
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）
4e9.png)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
