研究人员开发实时歌词生成技术以激发歌曲创作灵感

音乐艺术家可以通过滑铁卢研究人员开发的技术为他们的歌曲创作找到灵感和新的创意方向。

LyricJam是一个实时系统，使用人工智能（AI）为现场器乐生成歌词，由该大学的自然语言处理实验室成员创建。

该实验室由交叉任职于计算机科学系的滑铁卢工程学教授Olga Vechtomova领导，几年来一直在研究人工智能的创造性应用。

该实验室最初的工作导致创建了一个系统，该系统可以学习艺术家的音乐表达方式，并按照他们的风格生成歌词。

最近，Vechtomova与滑铁卢的研究生Gaurav Sahu和Dhruv Kumar一起开发了技术，依靠音乐的各个方面，如和弦进展、节奏和乐器，合成反映现场音乐所表达的情绪和情感的歌词。

当音乐家或乐队演奏器乐时，该系统不断接收原始音频片段，神经网络对其进行处理以生成新的歌词行。然后，艺术家们可以使用这些线条来创作他们自己的歌词。

研究人员提出的方法是基于训练一个变异自动编码器来学习音频片段的旋律谱图（spec-VAE），以及一个条件变异自动编码器来学习歌词行的表示（text CVAE）。使用变异自动编码器作为生成模型的优点是它们能够学习一个连续的潜在空间，然后可以通过采样来生成新的线条，这是创意应用的一个重要要求。

在推理时，该模型必须能够在给定的现场即兴演奏的音频片段中生成新的歌词行。为了做到这一点，需要一种方法来调整由规格VAE学到的潜在表征和由文本VAE学到的潜在表征。研究人员提出了两种新的方法来实现这种对齐。