《MuseGAN: Multi-track Sequential Generative Adversarial Networks for Symbolic Music Generation and A...

出处：2018 AAAI

SourceCode:https://github.com/salu133445/musegan

abstract：

（写得不错 值得借鉴）重点阐述了生成音乐和生成图片，视频及语音的不同。首先音乐是基于时间序列的；其次音符在和弦、琶音（arpeggios）、旋律、复音等规则的控制之下的；同时一首歌曲是多track的。总之不能简单堆叠音符。本文基于GAN提出了三种模型来生成音乐：jamming model, the composer model and the hybrid model。作者从摇滚音乐中挑选出了10万个bar来进行训练，生成5个轨道的piano-rolls：bass, drums, guitar, piano and strings。同时作者使用了一些intra-track and inter-track objective metrics来衡量生成的音乐质量（？）。

Introduction：

GAN在文字，图片，视频上取得了巨大的成就，音乐方面也有些进展，但问题在于：

（1）音乐有自己的基于时间的架构，如下图所示：

（2）音乐是多轨道/多乐器的

现代管弦乐（orchestra）常常有4个部分:brass, strings, woodwinds and percussion,摇滚乐队常用的是bass, a drum set, guitars and possibly a vocal，音乐理论要求这些元素按时间展开后harmony并且counterpoint.

（3）musical notes are often grouped into chords,arpeggios or melodies.所以，单音（monophonic）的音乐和NLP的生成都不能直接被引入来生成复调（polyphonic）的音乐。

由于上述三个问题，许多已有工作做了一些简化的处理方式，生成单轨单音音乐，introducing a chronological ordering of notes for polyphonic music，组合单音音乐变成复音音乐等。作者的目标是摒弃这些简化手法，1) harmonic and rhythmic structure, 2) multi-track interdependency, and 3) temporal structure。该模型能够产生音乐from scratch (i.e. without human inputs)，也能follow the underlying temporal structure of a track given a priori by human.作者提出了三种方式来处理track之间的交互

（1）每个track独立生成 one generates tracks independently by their private generators (one for each)

（2）所有track由一个生成器生成 another generates all tracks jointly with only one generator

（3）在（1）的基础上，每个track生成时有额外的input信息，以保证harmonious and coordinated

为了突出group的性质，作者关