清华大学计算机音乐,校长杯十强故事汇 || DeepMusic：音乐也能如此“深邃”

2017-05-31

校长杯十强故事汇 || DeepMusic：音乐也能如此“深邃”

本期主角：DeepMusic

DeepMusic团队，2017年4月加入清华x-lab。DeepMusic可以让即使没有任何音乐基础的用户都能通过简单地选择乐曲时长、风格、演奏乐器和情绪等标签后在短短数秒内就能得到他们所需且独创的个性化音乐。DeepMusic智能化音乐生成模型的主要技术特点在于层次化深度学习网络结构和生成式对抗学习方式，从而使得生成的乐曲更有多样性、悦耳性及可自定义性。该项目曾获得2016年微软校园精英计划全国第一名、清华大学第35届挑战杯特等奖等荣誉。

团队成员

胡昌然 清华电子系14级

莫唯书 清华化工系10级

吴健 清华计算机系12级

刘晓光 清华化学系09级

胡晓林 指导老师，清华计算机系副研究员

故事开启……

绝知此事要躬行

当AlphaGo以4:1的总分战胜韩国围棋大师李世石的直播画面传遍千家万户时，人工智能这个仿佛昨天还是科幻电影里的词汇瞬间被拉近到了我们眼前。不知不觉中，它已在悄然改变我们生活的方方面面。然而有一个一直困扰人们的问题是，尽管人工智能被认为在分析决策领域的能力已经可以跟人类抗衡甚至超过人类了，但在没有所谓“绝对最优解”并被认为是人类最后制胜高地的艺术创作领域，AI是否也会发出强有力的挑战呢？

为了探寻这个问题，DeepMusic这个由一帮极客和音乐家组成团队正在用他们的方式来找到最终答案。起初，这个项目仅仅是2016年初未来互联网协会迎新晚会上引起热烈讨论的一个议题。恰巧有几个对于音乐和AI充满兴趣的年轻人与它不期而遇，将它从问题变成了实践。

路漫漫其修远兮

然而实践的过程总不会一帆风顺。由于团队成员平时都有各自的事情要忙，只能每周抽出自己的业余时间来推进、调试和讨论这个项目，进展并不顺利。整整半年的时间，最初版的DeepMusic才诞生。DeepMusic团队使用了在自然语言处理方面广泛使用的循环神经网络模型，本以为可以把大量语言处理的模型，技巧等直接复用过来，但大家渐渐发现事情并没有那么简单：和语言不一样的是，音乐不仅是单一序列在时间顺序上的叠加，而是有旋律、和声和节奏这几个立体维度的，因此建立一个可训练的模型并不是那么简单。

尽管如此，团队还是设法将其对音乐的深度理解融入到了新的模型中，并获得了当年微软校园菁英计划的全国第一名。可惜不久之后，由于暑期、出国研修、繁重的课业项目等种种因素，队员们愈发聚少离多，甚至连一些技术骨干也不得不因为学业和科研任务而暂别了团队。

幸运的是，由于不忍心看到一个如此有趣且概念前卫的项目就此停滞不前，在项目指导老师胡晓林教授的鼓励下，有意愿且有时间继续推进这个项目的成员又重新聚到了一起，并吸收了一批背景各异的强力新晋成员。可以毫无夸张地说，经历了人员更迭过后的团队拥有了更加丰富有经验的人员配置以及新鲜的活力。

长风破浪会有时

在有了一个更加强大的团队之后，DeepMusic也更加明确了接下来的任务：在进一步优化算法的基础上，从易到难依次建立适配各类音乐风格的生成模型，对于同一细分风格的音乐，通过情感的不同进一步实现差异化。具体而言，情感上，DeepMusic团队希望让计算机通过“深度学习”来进一步理解和掌握用音乐来表达出各种情绪的内在规律；在应用层面，使计算机能够更加智能地“感知”并生成符合当下需要的场景音乐；从长远来看，通过进一步训练生成模型使之能够逐渐适应不同用户的个人偏好，为每一个独特的个体打造最具其“个人烙印”，且品质上更够媲美甚至超过目前工业化水准的音乐是团队未来的目标。

在加入清华x-lab之后，DeepMusic团队也加深了对项目产品化和商业化的理解和考量。 DeepMusic团队自身技术上的先进性和难复制性，是其最核心的优势，此外他们对自己在音乐上的理解和品味，以及在国内外音乐行业丰富的人脉和资源也是有十足的自信。团队相信，尽管目前也有一些巨头也在打算尝鲜这个领域，但其算法本身的优越性足以证明其未来的产出几乎很难不会达到非常好的效果。尽管如此，加入x­-lab之后的DeepMusic团队也清晰地认识到，技术和团队固然重要，但是对市场和产品的挖掘，对用户体验的极致追求以及商业化的探索也是不可或缺的。因为一旦想要像苹果、谷歌、微软等互联网先驱那样创造一个为无数用户、企业和社会服务并产生巨大价值的产品甚至成就一个伟大的企业，需要考虑的就不仅仅只是科研层面的问题了。所以现在DeepMusic团队在继续改进模型和算法之余，也会将更多的精力投入到了调研市场需求和产品定位上。

“没有第二天醒来觉得非做不可的事情，就不要去创业。”——谈到对创业的看法，这群充满活力与自信，看上去酷酷的年轻人如是说道。