音源分离|Music Source Separation in the Waveform Domain

一、文章摘要

        本文中，比较了两种时域结构。首先将最初为语音源分离而开发的卷积tasnet应用于音乐源分离任务。虽然ConvTasnet击败了许多现有的频域方法，但正如人类评估所显示的那样，它存在明显的artifacts。本文提出了一种新的时域模型Demucs，它具有U-Net结构和双向LSTM。

        在MusDB数据集上的实验表明，通过适当的数据增强，Demucs击败了所有现有的最先进的架构，包括convt - tasnet，平均为6.3 SDR，(在150首额外的训练歌曲中达到6.8 SDR，甚至超过了bass源的IRM oracle)。使用模型量化的最新发展，Demucs可以压缩到120MB而不会损失任何精度。我们还提供了人类的评估，表明Demucs在音频的自然度方面有很大的优势。然而，它存在一些泄露问题，特别是在人声和其他源之间。

二、本文方法 

2.1 Conv-Tasnet方法适配到音源分离任务

        原始的conv - tasnet架构[Luo和Mesgarani, 2018]由一个学习的前端组成，该前端在以8 kHz采样的输入单音混合波形和以1 kHz采样的128通道过完整表示之间来回转换，使用卷积作为编码器和转置卷积作为解码器，两者的核大小为16，步幅为8。通过残块堆叠构成的分离网络对高维表示进行屏蔽。