清华AI画虾师,想当现代齐白石

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/83543158
安妮 发自 凹非寺
量子位 出品 | 公众号 QbitAI

这只AI不简单啊。

就是它,让撒贝宁面露难色,难做决断,在节目现场纠结得抓耳挠腮。

640?wx_fmt=gif

听说这个名叫“道子”的清华AI,能汇集万千国画大家所长,可将任何所见之物转化成国画,就像下面这样:

640?wx_fmt=gif

最近,道子在央视主导了一期“找AI”大型游戏:它与两位人类专业画师现场同台竞技,让观众找出哪幅画为AI所作。

最终,3位嘉宾+现场100名观众在两轮比赛中,还是没能成功将道子找出。

下面量子位还原“案发现场”,看看这只以假乱真的AI真有那么神奇?⤵️⤵️⤵️

Round 1

第一轮比拼以“画虾”为题,AI道子与两名人类青年画家观察鱼缸中的虾后,分别匿名作画。

花鸟画艺术家、也是齐白石的孙女齐慧娟也来到现场,考验道子的技艺如何。

640?wx_fmt=png

 郭泉(左)和李子牧(右)现场作画

三位画师思考片刻后开始动笔,不一会大屏幕上呈现出三张扫描的虾图,大家观察一下:

640?wx_fmt=png


640?wx_fmt=png


640?wx_fmt=png

现场一半观众与韩雪都觉得图2是道子所画,图2也成为全场票王。

到底呼声最多的2号是不是道子所做?答案揭晓:图1才是道子作品。

这让2号的作者李子牧女士表示有些惊奇,她后来感慨说,没想到AI现在画得这么好了。

640?wx_fmt=png

好吧,Round 1,道子隐身成功,获得胜利。

Round 2

单单看景作画,可能对AI来说可能简单了些。但若加入文字理解在里面,可能就不太容易处理了。

第二轮,难度大大提升,要求三位画师根据白居易的《钱塘湖春行》中的描写和意境,再次作画。

640?wx_fmt=jpeg

“孤山寺北贾亭西,水面初平云脚低。几处早莺争暖树,谁家新燕啄春泥。乱花渐欲迷人眼,浅草才能没马蹄……”道子能理解每句诗背后的意境么?现场一阵疑惑。

又是笔墨纸砚的一波操作后,三幅画作新鲜出炉:

640?wx_fmt=png


640?wx_fmt=png


640?wx_fmt=png

一幅枝头早莺、一张迷雾山水和一张浅草骏马,现场观众和嘉宾能猜中道子的心么?

现场观众也是纠结,最终2号以52张高票数成为观众心中认为的道子作品。

答案揭晓,观众叹息一片。第二轮,道子最终又迷惑了在场观众,Round 2,道子胜

不过~到底道子的作品是哪一幅?各位客官先猜着,我们结尾揭晓。

未来实验室

连续两轮骗过了大多数人,道子最终晋级。齐慧娟感慨道子的表现“非常精彩,也非常合格”,“它甚至于是我所向往的一个工具了。”齐慧娟说。

所以,这个没有生命的AI画师道子,在两轮中是如何在绘画任务上骗过人类眼睛的,清华博士后高峰最终揭秘。

高峰表示,道子人机交互系统,是清华大学未来实验室对科学技术与人文艺术交叉的探索。这个去年成立的实验室,专门进行跨学科交叉研究。

可能也是出于这种考虑,实验室主任由清华美术学院信息艺术设计系教授、系主任徐迎庆担任。

640?wx_fmt=png

 未来实验室主任徐迎庆

高峰是未来实验室第一个博士后,道子也是高峰此前在北京大学读博时就参与研究的一个产品。

比赛现场,道子借助摄像头拍下鱼缸中大虾的姿态图,随后动用风格迁移大法,将齐白石的画虾风格转移到这张图像,最后由高峰为画面整体布局,完成虾图。

640?wx_fmt=png

风格迁移?想必不难理解,将你随手拍的一张照片用某图秀秀、Prisma和某咖相机转化成梵高画风、《你的名字》画风、手绘漫画风……都是用了风格迁移技术。

台上一分钟台下十年功,来参赛前,道子经过大量学习领悟到齐白石画风,学会了举一反三。

这是个怎样的训练过程?

简单来说,高峰给道子的神经网络模型喂食了大量国画大家的作品,让它在齐老先生的虾海,徐悲鸿的马群、黄宾虹的山水中归纳总结,直到领悟到如何提取各种画作特点。

在论文From Part to Whole: Who is Behind the Painting?中,高峰详细介绍了这个负责找到国画特点的特征提取模型:MTMR(multi-task multi-range,多任务多类别)表示框架。

640?wx_fmt=png

 MTMR表示框架结构

MTMR从基于尺度不变特征转换(SIFT)的fisher vector,从画中分别提取:

1、局部、区域和全局特征
2、多类别区域编码结构
3、多任务学习框架

640?wx_fmt=png

 MTMR中的多任务学习框架构造

机器作画会取代人类么?高峰觉得AI自有一套文明体系。机器创作的艺术属于机器文明,人类创作的艺术才属于人类文明。

画手道子的研究论文已经被ACM Multimedia 2018录用了,感兴趣的客官请移步:

http://www.jdl.ac.cn/doc/2011/201811120455532723_p1174-ma.pdf

谜底揭晓

谜底揭晓Time来了。

《钱塘湖春行》赛题中,让小撒纠结、韩雪疑惑、现场观众大吃一惊的道子作品到底是哪幅?

答案:图3。高峰选取诗句中“浅草才能没马蹄”一句进行输入,道子此前学习过徐悲鸿的马有了功底,完成这幅骏马图。

640?wx_fmt=jpeg

对了,在量子位(QbitAI)公众号对话界面回复回复“五道口长卷”,还能解锁道子和高峰共同完成的北京五道口万千姿态众生景象。完成这幅长卷,道子只用了两天。

玩得愉快~

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

活动策划招聘

量子位正在招聘活动策划,将负责不同领域维度的线上线下相关活动策划、执行。欢迎聪明靠谱的小伙伴加入,并希望你能有一些活动策划或运营的相关经验。相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

640?wx_fmt=jpeg

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

阅读更多
换一批

没有更多推荐了,返回首页