音源分离 | Spleeter: a fast and efficient music source separationtool with pre-trained models

一、摘要

        Spleeter 是一个用于音乐源分离的快速高效工具，它使用预训练模型。Spleeter 的设计考虑了易用性、分离性能和速度。该工具基于 Tensorflow，能够使用预训练模型通过单一命令行将音乐音频文件分离成多个音轨。一个音乐音频文件可以被分离成 2 个音轨（声乐和伴奏），4 个音轨（声乐、鼓、贝斯和其他）或 5 个音轨（声乐、鼓、贝斯、钢琴和其他）。

        此外，用户还可以使用 Tensorflow 训练源分离模型或微调预训练模型（前提是你有孤立源的数据集）。预训练模型的性能非常接近已发布的最先进水平，并且是公开发布的在常见的musdb18 基准测试中表现最好的 4 个音轨分离模型之一。Spleeter 也非常快速，能够在单个 GPU 上使用预训练的 4 音轨模型，将混合音频文件分离成 4 个音轨的速度比实时快 100 倍（不过，需要注意的是，由于需要缓冲，该模型不能实时应用）。【2020年的文章】

二、方法

2.1 引言

        Spleeter 的开发旨在帮助音乐信息检索（MIR）研究社区利用源分离技术来处理各种 MIR 任务，如从音频中分析声乐歌词、音乐转录、歌手识别、多标签分类、声乐旋律提取或封面检测等。Spleeter 还允许研究人员在私有数据集上比较他们新模型的性能与最先进的模型，而不是仅仅使用 musdb18 数据集。

2.2 方法

        Spleeter 包含了用于声乐/伴奏分离、4 音轨分离（声乐、贝斯、鼓和其他）以及带有额外钢琴音轨的 5 音轨分离的预训练模型。这些预训练模型是 U-nets，遵循与之前研究中相似的规格。U-net 是一种带有跳跃连接的编码器/解码器卷积神经网络（CNN）架构，用于估计每个源（音轨）的掩码。训练损失是掩码输入混合频谱图和目标源频谱图之间的 L1-范数。模型在 Deezer 内部数据集上进行训练，使用 Adam 优化器，训练时间大约为一周。分离是通过使用掩码或多通道维纳滤波从估计的源频谱图中完成的。

三、结果

        Spleeter 在 musdb18 标准数据集上的性能与最先进的技术相当，尽管它没有使用 musdb18 数据进行训练、验证或优化。在标准的源分离指标（信噪比（SDR）、信干比（SAR）、信干扰比（SIR）和源图像到空间失真比（ISR））方面，Spleeter 与 Open-Unmix 和 Demucs 等其他系统相比具有竞争力。

原文链接：https://www.theoj.org/joss-papers/joss.02154/10.21105.joss.02154.pdf

原文代码：GitHub - deezer/spleeter: Deezer source separation library including pretrained models.