从冬奥会开幕式谈起，AI的艺术造诣如何？

‍

‍导读：刚刚过去的冬奥会开幕式，是一场美轮美奂的视觉盛宴，抛弃了2008年夏季奥运会的人海战术，今年的开幕式重点突出的是科技与艺术的融合。

当中，最值得一提的要属和平鸽环节，运用了实时跟踪的AI技术，场地上飘落的雪花紧紧伴随着700多位演员的脚步移动，让人不禁感慨离夏季奥运会开幕只过了半年，人类科技进步竟然如此之大。

梦幻的视觉效果背后，其实是「AI实时视频特效」，即实时捕捉和交互，通过图像识别，几乎0延时捕捉演员位置及姿态，并渲染出相应的美术效果。演员也因此有了自由发挥的空间，无需按照既定的位置进行跑动。这套系统最终根据鸟巢的场地特点进行了算法优化，呈现出「如影随形」的效果。

除此之外，AI还可以自动生成逼真生动的视觉效果。开幕式中令人印象深刻的「黄河之水天上来」，是图形处理算法，在大量学习中国传统水墨画之后，按照水墨纹理风格生成的。汹涌澎湃的效果丝毫不输真实的影像纪录。

在近期的「青源Talk」报告中，北航人工智能研究院教授、博导，青源会会员刘偲回溯了AI+艺术的各种不同形式，囊括了AI在音乐、绘画、文学、电影等方方面面的「艺术造诣」。

整理：牛梦琳、李梦佳

01

从达芬奇到爱因斯坦，回溯「科学+艺术」的历史

提到科学与艺术的融合，就不得不提到一位跨世纪的天才——达芬奇。作为一个同时在物理学，数学，解剖学方面都颇有建树的科学家，达芬奇非常擅长将艺术创作与科学探讨结合起来，比如将「黄金分割率」大量应用到绘画作品当中等，这在世界艺术史上是独一无二的。

无独有偶，四个世纪后的天才物理学家爱因斯坦也是一位热爱音乐与文学的科学家，他始终认为科学与艺术是相通的，并将艺术与科学奉为毕生追求的事业。

另一个传统的科学与艺术的例子，是「莫扎特的音乐骰子游戏」。这个游戏由176条小步舞曲小节，96条三重奏小节，两张写满数字的规则表以及两粒六面筛子组成。游戏规则非常简单，两粒骰子被随机投掷16次，根据投掷结果，规则表中对应的小步舞曲片段被一次选定，组成一支随机的小步舞曲。

而数百年后的1956年，Lejaren Hiller和Leonard Isaacson 尝试利用AI谱写了新的音乐。到了2021年，德国的一些科学工作者甚至利用AI续写了贝多芬的第十交响曲。

近年来，一些大厂和会议也通过种种形式将AI与艺术紧紧联系了起来，如NVIDIA举办的AI艺术画廊，NeurIPS Workshop，中国人工智学会艺术与人工智能专委会，中国计算机学会计算艺术分会以及2021年10月在北京举办的世界音乐人工智能大会等。这些工作能够促进学术交流和产学研合作，加快了艺术科技的产业化。

02

大模型吟诗，Jukebox谱曲

1. AI与文学

首先，对于文本理解任务，不得不提到「GPT-3」与「悟道」等大模型，这些大模型在诗词创作，问答等任务中取得了十分出色的表现。

此外，在进行诗词创作时，清华大学的「九歌」模型表现也很出彩，对于给定的主题，关键词等，他们能够生成比较有意境的诗词。比如《夜过虹桥机场》：